BR112014024410B1

BR112014024410B1 - Dispositivo fonte 3d para a provisão de um sinal de vídeo tridimensional [3d] para a transferência para um dispositivo de destino 3d, dispositivo fonte 3d para a recepção de um sinal de vídeo tridimensional [3d] de um dispositivo fonte 3d, método para provisão de um sinal de vídeo tridimensional [3d] para a transferência para um dispositivo de destino 3d, sinal de vídeo tridimensional [3d] para a transferência de dados de vídeo 3d de um dispositivo fonte 3d para um dispositivo de destino 3d, mídia de gravação, e mídia legível lida computador

Info

Publication number: BR112014024410B1
Application number: BR112014024410-3A
Authority: BR
Inventors: Wilhelmus Hendrikus Alfonsus Bruls; Philip Steven Newton; Johan Cornelis Talstra; Wiebe De Haan
Original assignee: Koninklijke Philips N.V
Priority date: 2012-04-05
Filing date: 2013-04-05
Publication date: 2023-02-28
Also published as: JP2015515820A; KR102086124B1; TW201349842A; EP2834982A1; RU2632426C2; WO2013150491A1; CN104205821A; CN104205821B; ES2645639T3; EP2834982B1; RU2014144269A; BR112014024410A2; US9584794B2; US20150085070A1; JP6242380B2; KR20150004823A; TWI586143B

Abstract

DISPOSITIVO FONTE 3D PARA A PROVISÃO DE UM SINAL DE VÍDEO TRIDIMENSIONAL [3D] PARA A TRANSFERÊNCIA PARA UM DISPOSITIVO DE DESTINO 3D, DISPOSITIVO FONTE 3D PARA A RECEPÇÃO DE UM SINAL DE VÍDEO TRIDIMENSIONAL [3D] DE UM DISPOSITIVO FONTE 3D, MÉTODO PARA PROVISÃO DE UM SINAL DE VÍDEO TRIDIMENSIONAL [3D] PARA A TRANSFERÊNCIA PARA UM DISPOSITIVO DE DESTINO 3D, SINAL DE VÍDEO TRIDIMENSIONAL [3D] PARA A TRANSFERÊNCIA DE DADOS DE VÍDEO 3D DE UM DISPOSITIVO FONTE 3D PARA UM DISPOSITIVO DE DESTINO 3D, VEÍCULO DE REGISTRO, E PRODUTO DE PROGRAMA DE COMPUTADOR. É descrito um formato e esquema híbrido de transmissão/conversão automática 3D para a transmissão de dados 3D para vários tipos de displays 3D. No decodificador (20) um conversor estéreo para profundidade (24) gera um mapa de profundidade. No sinal de vídeo 3D outras informações de profundidade denominadas dados para assistente de profundidade (DH-bitstr) são transmitidas de forma esparsa tanto no tempo (profundidades parciais no tempo) e/ou espacialmente (profundidade parcial dentro de quadros). Um comutador de profundidade (25) seleciona as profundidades parciais com base em um mecanismo explícito ou implícito para indicar quando estas serão utilizadas ou quando as profundidades devam ser geradas automaticamente no local. Vantajosamente, perturbadores erros (...).

Description

CAMPO DA INVENÇÃO

[001] A invenção se refere a um dispositivo fonte 3D para a provisão de um sinal de vídeo tridimensional [3D] para a transferência para um dispositivo de destino 3D. O sinal de vídeo 3D compreende uma primeira informação de vídeo representando uma vista do olho esquerdo em um display 3D, e uma segunda informação de vídeo representando uma vista do olho direito no display 3D. O dispositivo de destino 3D compreende um receptor para a recepção do sinal de vídeo 3D, e um conversor estéreo para profundidade para a geração de um primeiro mapa de profundidade gerado com base na primeira e na segunda informações de vídeo. O dispositivo fonte 3D compreende uma unidade de saída para a geração do sinal de vídeo 3D, e para a transferência do sinal de vídeo 3D para o dispositivo de destino 3D.

[002] A invenção ainda se refere a um método para prover um sinal de vídeo 3D para a transferência para um dispositivo de destino 3D.

[003] A invenção se refere ao campo da geração e transferência de um sinal de vídeo 3D em um dispositivo fonte, por exemplo, um difusor, servidor de site de Internet, sistema de autorização, fabricante de Disco Blu-ray, etc., para um dispositivo de destino 3D, por exemplo, um Disco Blu- ray player, um aparelhor de TV 3D, display 3D, dispositivo de computação móvel, etc., que exija um mapa de profundidade para a apresentação de vistas múltiplas.

HISTÓRICO DA INVENÇÃO

[004] O documento “Working Draft on MVC extensions for inclusion of depth maps - ISO/IEC/JTC1/SC29/WG11/N12351, December 2011 by Teruhiko Suzuki, Miska M. Hannuksela, Ying Chen” é uma proposta de novas alterações ao ITU-T Rec. H.264 | ISO/IEC 14496-10 para a adição de tecnologias de vídeo 3D aos sinais de transferência de vídeo codificado MPEG (também denominados proposta ISO). A proposta ISO descreve a codificação de objetos audiovisuais, em particular alterações ao dito padrão ISO Parte 10: Codificação Avançada de Vídeo, referente às extensões Multi View Coding (MVC) para a inclusão de mapas de profundidade no formato de vídeo. De acordo com a alteração, as extensões MVC para a inclusão de codificação de vídeo de mapas de profundidade são especificadas permitindo a construção de fluxos de bits que representam múltiplas vistas com múltiplas vistas suplementares relativas, isto é, vistas de mapas de profundidade. Similar à codificação de vídeo multivistas, os fluxos de bits que representam vistas múltiplas suplementares também podem conter outros subfluxos de bits que se conformam à especificação proposta.

[005] De acordo com a proposta ISO, os mapas de profundidade podem ser adicionados a um fluxo de dados de vídeo 3D tendo uma primeira informação de vídeo representando uma vista do olho esquerdo em um display 3D e uma segunda informação de vídeo representando uma vista do olho direito no display 3D. Um mapa de profundidade no lado do decodificador permite gerar outras vistas, adicionais às vistas esquerda e direita, por exemplo, para um display autoestereoscópico.

SUMÁRIO DA INVENÇÃO

[006] A proposta ISO exige que o material de vídeo seja provido com mapas de profundidade, o que exige maior capacidade de transmissão de dados. Além disso, existe muito material de vídeo 3D que não tem dados de mapa de profundidade. Para esse material, o dispositivo de destino pode ter um conversor estéreo para profundidade para a geração de um mapa de profundidade gerado com base na primeira e na segunda informações de vídeo.

[007] Trata-se de um objetivo da invenção prover um sistema para o fornecimento de informações de profundidade e transferência das informações de profundidade que sejam mais flexíveis para aumentar a recepção de vídeo 3D.

[008] Para isso, de acordo com um primeiro aspecto da invenção, o dispositivo fonte como descrito no parágrafo de abertura, está disposto para prover um mapa de profundidade fonte referente às informações de vídeo, e o dispositivo fonte 3D compreende um conversor estéreo para profundidade fonte para a geração de um segundo mapa de profundidade gerado com base na primeira e na segunda informações de vídeo, e um processador de profundidade fonte disposto para prover dados para o assistente de profundidade somente quando uma diferença entre o mapa de profundidade fonte e o segundo mapa de profundidade gerados ultrapassar um limite predeterminado, os dados para o assistente de profundidade representando o mapa de profundidade fonte, e a unidade de saída estando disposta para incluir os dados para o assistente de profundidade no sinal de vídeo 3D.

[009] O sinal de vídeo 3D compreende os dados para o assistente de profundidade.

[010] O dispositivo de destino 3D compreende um processador de profundidade para a geração de um mapa de profundidade destino com base no primeiro mapa de profundidade gerado quando não existirem dados para o assistente de profundidade disponíveis no sinal de vídeo 3D, e com base nos dados para assistente de profundidade quando os dados para assistente de profundidade estiverem disponíveis no sinal de vídeo 3D.

[011] As medidas têm o efeito que o dispositivo de destino pode gerar um mapa de profundidade destino com base em um mapa de profundidade gerado no local a partir da primeira e da segunda informações de vídeo, representando as vistas esquerda e direita, e, quando e onde disponível, aplicar os dados para assistente de profundidade para ampliar o dito mapa de profundidade gerado no local. Vantajosamente, os dados para assistente de profundidade são somente transferidos quando o mapa de profundidade gerado no local tiver uma substancial diferença com o mapa de profundidade fonte. Assim, são reduzidos os erros visualmente perturbadores provocados pelos mapas de profundidade gerados incorretamente.

[012] A invenção também se baseia no seguinte reconhecimento. Os inventores viram que a geração local do mapa de profundidade normalmente fornece um resultado muito agradável quando baseada em uma vista esquerda e direita. Entretanto, em algumas ocasiões ou localizações, podem ocorrer erros perturbadores. Predizendo a ocorrência desses erros em uma fonte, e adicionando os ditos dados de assistente somente para essas ocasiões ou períodos, a quantidade de novos dados de profundidade que deve ser transferida é limitada. Além disso, transferindo os dados de assistente com base no mapa de profundidade fonte, e selecionando os dados de assistente no lado de destino ao invés de usar os dados de profundidade errados gerados localmente, é obtido um significativo aperfeiçoamento da profundidade com base no fornecimento de múltiplas vistas.

[013] Opcionalmente, no dispositivo fonte 3D a unidade de saída está disposta para incluir os dados para o assistente de profundidade no sinal de vídeo 3D somente por um período de tempo de correção quando dentro do período de correção a dita diferença ultrapassar o dito limite. O efeito é que os dados de assistente são somente transmitidos por períodos em que ocorrem substanciais erros de profundidade, o que é na prática menor que 10% do tempo. Vantajosamente, é reduzida a quantidade de dados a ser transferida.

[014] Opcionalmente no dispositivo fonte 3D a unidade de saída está disposta para incluir os dados para assistente de profundidade no sinal de vídeo 3D somente para uma área de correção menor que o display 3D quando na área de correção a dita diferença ultrapassar o dito limite. O efeito é que os dados de assistente são somente transmitidos para locações em que ocorrem substanciais erros de profundidade, o que é na prática menor que 50% dos quadros onde ocorrem esses erros. Vantajosamente, é reduzida a quantidade de dados a ser transferida.

[015] Opcionalmente, no dispositivo fonte 3D o processador de profundidade está disposto para gerar os dados para o assistente de profundidade para a área de correção de maneira que a dita área de correção esteja alinhada a pelo menos um macrobloco no sinal de vídeo 3D, o macrobloco representando um bloco predeterminado de dados de vídeo comprimido, o macrobloco alinhado à área de correção compreendendo outros dados de profundidade para locações quando a diferença entre o mapa de profundidade fonte e o segundo mapa de profundidade gerado não exceder o limite predeterminado. O efeito é que a área de correção será eficientemente codificada pelos processadores normais de codificação, porque a codificação é organizada em macroblocos. Ao contrário, a codificação de uma forma arbitrária somente contendo correções dos valores errôneos de profundidade, exige muito esforço de codificação e resulta em uma baixa taxa de compressão. Essa área de correção também contém pixels para os quais os valores de profundidade do segundo mapa de profundidade gerado e do mapa de profundidade fonte são pequenos e abaixo do limite. Os outros dados de profundidade pode ter base no segundo mapa de profundidade gerado para evitar saltos de profundidade no limite externo do macrobloco alinhado à área de correção. Vantajosamente, fazer outros valores de correção de profundidade iguais aos valores gerados evitará, no lado do decodificador, que as diferenças de profundidade nos macroblocos se tornem visíveis.

[016] Opcionalmente, no dispositivo fonte 3D a unidade de saída está disposta para incluir dados de assistência de sinalização no sinal de vídeo 3D, os dados de assistência de sinalização indicando a disponibilidade dos dados para o assistente de profundidade. Vantajosamente, o decodificador permite detectar com facilidade a presença ou a ausência de dados para o assistente de profundidade com base nos dados de assistência de sinalização. Os dados de assistência de sinalização, por exemplo, podem compreender pelo menos:

[017] - um sinal de sinalização que indica a presença dos dados para assistente de profundidade;

[018] - um valor predefinido de não profundidade em um mapa de profundidade indica a ausência de dados para assistente de profundidade para uma localização correspondente;

[019] - dados de comprimento de assistência indicativos da quantidade de dados para assistente de profundidade em uma estrutura de dados;

[020] - dados indicadores de vista indicativos de um número e/ou tipos de vistas para as quais os dados para assistente de profundidade estejam disponíveis;

[021] - dados dos tipos de assistência indicativa de uma estrutura de dados utilizada para os dados para assistente de profundidade;

[022] - dados de resolução de assistência indicativos de uma resolução dos dados para assistente de profundidade;

[023] - dados de localização de assistência indicativos de uma localização dos dados para assistente de profundidade.

[024] Vantajosamente, esses dados de assistência de sinalização indicam a presença e/ou a quantidade de dados para o assistente de profundidade.

[025] Opcionalmente, no dispositivo fonte 3D, a unidade de saída está disposta para incluir, no sinal de vídeo 3D, um mapa de profundidade correspondente a uma área do display no display 3D, o mapa de profundidade compreendendo os dados para o assistente de profundidade para a área de correção e/ou o período de correção, e, como os dados de assistência de sinalização, um valor predefinido de não profundidade indicando a ausência de dados para assistente de profundidade para uma localização correspondente para outras áreas e/ou períodos. O mapa de profundidade pode estar incluído no sinal dos quadros que tenham quaisquer dos dados para assistente de profundidade, isto é, implicitamente a presença do mapa de profundidade indicando que os dados para assistente de profundidade estão presentes. Alternativamente, o mapa de profundidade pode ser incluído para todos os quadros. Os inventores notaram que o atual esquema de compressão comprime de forma muito efetiva os mapas de profundidade que têm um único valor com relação à maioria ou mesmo à toda a superfície do display, em particular quando o valor de não profundidade indicar que a ausência local de dados de assistente é escolhida como 0 ou 255. Vantajosamente, no lado do decodificador, o mapa de profundidade é processado de forma automática, somente usando algum valor de correção quando valores de profundidade se desviarem do dito valor de não profundidade.

[026] Opcionalmente, o mapa de profundidade compreende pelo menos um dos itens de: dados de profundidade correspondentes à vista esquerda; dados de profundidade correspondentes à vista direita; dados de profundidade correspondentes a uma vista central; dados de profundidade tendo uma resolução menor que a primeira informação de vídeo ou a segunda informação de vídeo. Vantajosamente, provendo um ou mais mapas de profundidade de acordo com os dados critérios, o decodificador pode usar um mapa de profundidade adequado, como necessário.

[027] Outras realizações preferidas do dispositivo e método de acordo com a invenção são dadas nas reivindicações anexas, cuja revelação segue incorporada à presente por referência.

BREVE DESCRIÇÃO DOS DESENHOS

[028] Estes e outros aspectos da invenção ficarão aparentes e mais elucidados com referência às realizações descritas como exemplo na seguinte descrição e com referência aos desenhos de acompanhamento, em que

[029] A Figura 1 mostra um sistema para o processamento de dados de vídeo 3D e a exibição dos dados de vídeo 3D,

[030] A Figura 2 mostra um decodificador 3D usando os dados para assistente de profundidade,

[031] A Figura 3 mostra um codificador 3D provendo os dados para o assistente de profundidade,

[032] A Figura 4 mostra um dispositivo de display auto-estéreo e a geração de múltiplas vistas,

[033] A Figura 5 mostra um dispositivo de display estéreo de vista dupla e a geração de vistas ampliadas, e

[034] A Figura 6 mostra a presença de dados para o assistente de profundidade em um sinal de vídeo 3D.

[035] As figuras são puramente diagramáticas e não estão em escala. Nas Figuras, os elementos que correspondem aos elementos já descritos podem ter os mesmos números de referência.

DESCRIÇÃO DETALHADA DAS REALIZAÇÕES

[036] Nota-se que a presente invenção pode ser utilizada para qualquer tipo de dados de imagens 3D, seja para quadro imóvel ou vídeo de movimento. Os dados de imagens 3D são supostos como disponíveis como dados eletrônicos, codificados digitalmente. A presente invenção se refere a esses dados de imagens e manipula os dados de imagens no domínio digital.

[037] Existem muitas diferentes formas em que o sinal de vídeo 3D pode ser formatado e transferido, de acordo com um denominado formato de vídeo 3D. Alguns formatos se baseiam no uso de um canal 2D para também transportar as informações estéreo. No sinal de vídeo 3D, a imagem é representada por valores de imagens em um conjunto bidimensional de pixels. Por exemplo, a vista esquerda e direita podem ser interlaçadas ou podem ser colocadas lado a lado, acima e abaixo. Também pode ser transferido um mapa de profundidade, e possivelmente outros dados 3D como dados de oclusão ou de transparência. Um mapa de disparidade nesse texto, é também considerado como um tipo de mapa de profundidade. O mapa de profundidade tem valores de profundidade também em um conjunto bidimensional correspondente à imagem, apesar de o mapa de profundidade poder ter uma resolução diferente. Os dados de vídeo 3D podem ser comprimidos de acordo com os métodos de compressão conhecidos, por exemplo, MPEG. Qualquer sistema de vídeo 3D, como a internet ou um Disco Blu-ray (BD), podem se beneficiar das ampliações propostas.

[038] O display 3D pode ser uma unidade relativamente pequena (por exemplo, um telefone móvel), um grande Display Estéreo (STD) que exija óculos obturadores, qualquer display estereoscópico (STD), um STD avançado levando em conta uma linha de base variável, um STD ativo que objetive as vistas L e R para os olhos dos visualizadores baseados em head tracking, ou um display multivisão autoestereoscópico (ASD), etc.

[039] Tradicionalmente, são transmitidos todos os componentes necessários para o acionamento de vários tipos de displays 3D, o que inclui tipicamente a compressão e a transmissão de mais de uma vista (sinal de câmara) e suas profundidades correspondentes, por exemplo, como discutido em “Call for Proposals on 3D Video Coding Technology” - MPEG document N12036, March 2011, Geneva, Switzerland. Os problemas com esse sistema são a disponibilidade dos sinais de profundidade (de criação difícil e cara), a disponibilidade limitada do conteúdo inicial para o acionamento dos ASDs e dos STDs avançados para uma linha de base variável, e a taxa de bits adicional necessária para a transmissão dos sinais de profundidade. Por si mesma, é conhecida a autoconversão no decodificador (profundidade automaticamente obtida do estéreo), por exemplo, a partir da “Description of 3D Video Coding Technology Proposal by Disney Research Zurich and Fraunhofer HHI”, MPEG document M22668, Nov 2011, Geneva, Switzerland. Entretanto, a qualidade geral não pode ser garantida e a qualidade será limitada a determinadas cenas “difíceis” (por exemplo, 5% das cenas). Como alternativa para a autoconversão utilizada após o estéreo-vídeo decodificador, um conversor estéreo para profundidade também pode ser colocado no lado do codificador, onde pode ser aplicada mais potência de processamento. Entretanto, isso não reduz a quantidade de dados a ser transferida e ainda tem algumas cenas difíceis em que mapas de profundidade sintetizados não são confiáveis.

[040] A Figura 1 mostra um sistema para o processamento dos dados de vídeo 3D e a exibição dos dados de vídeo 3D. Um primeiro dispositivo de vídeo 3D, denominado dispositivo fonte 3D 40, provê e transfere um sinal de vídeo 3D 41 a outro dispositivo para o processamento de imagem 3D, denominado dispositivo de destino 3D 50, que é acoplado a um dispositivo de display 3D 60 para a transferência de um sinal de display 3D 56. O sinal de vídeo pode, por exemplo, ser um sinal de difusão de TV 3D, como uma transmissão estéreo padrão que usa ^ HD compatível de quadro, resolução codificada multivisão (MVC) ou resolução total compatível de quadro (por exemplo, FCFR como proposto pela Dolby). A construção sobre uma camada base quadro-compatível, Dolby desenvolveu uma camada de ampliação para recriar as imagens 3D de resolução total. Essa técnica foi proposta no MPEG para padronização e exige somente um aumento de ~10% na taxa de bits. O sinal de vídeo 3D tradicional é ampliado pelos dados para assistente de profundidade como explicado abaixo.

[041] A Figura 1 ainda mostra uma mídia de gravação 54 como um veículo do sinal de vídeo 3D. A mídia de gravação tem o formato de disco e tem uma trilha e um furo central. A trilha, constituída por um padrão de marcas fisicamente detectáveis, está disposta de acordo com uma espiral ou um padrão concêntrico de voltas constituindo substancialmente trilhas paralelas em uma ou mais camadas de informações. A mídia de gravação pode ter leitura óptica, denominada disco óptico, por exemplo, um DVD ou BD (Disco Blu-ray). As informações são incorporadas na camada de informações pelas marcas oticamente detectáveis ao longo da trilha, por exemplo, pits e lands. A estrutura da trilha também compreende informações de posição, por exemplo, cabeçalhos e endereços, para a indicação da localização das unidades de informações, normalmente denominadas blocos de informações. A mídia de gravação 54 transporta as informações representando dados de imagens 3D digitalmente codificados como vídeo, por exemplo, codificado de acordo com o sistema de codificação MPEG2 ou MPEG4, em um formato predefinido de registro como o formato DVD ou BD.

[042] O dispositivo fonte 3D tem um processador de profundidade fonte 42 para o processamento dos dados de vídeo 3D, recebidos por uma unidade de entrada 47. Os dados de vídeo de entrada 3D 43 podem estar disponíveis em um sistema de armazenagem, um estúdio de gravação, por câmaras 3D, etc. O sistema fonte processa um mapa de profundidade provido para os dados de imagens 3D, cujo mapa de profundidade pode estar tanto originalmente presente na entrada do sistema, ou pode ser gerado automaticamente por um sistema de processamento de alta qualidade como descrito abaixo, por exemplo, a partir de quadros esquerdos/direitos em um sinal de vídeo estéreo (L+R) ou por vídeo 2D, e possivelmente ainda processado ou corrigido para prover um mapa de profundidade fonte que represente com precisão os valores de profundidade correspondentes aos dados de imagens 2D de acompanhamento ou quadros esquerdos/direitos.

[043] O processador de profundidade fonte 42 gera o sinal de vídeo 3D 41 compreendendo os dados de vídeo 3D. O sinal de vídeo 3D tem uma primeira informação de vídeo representando uma vista do olho esquerdo em um display 3D, e uma segunda informação de vídeo representando uma vista do olho direito em um display 3D. O dispositivo fonte pode ser disposto para a transferência do sinal de vídeo 3D do processador de vídeo por uma unidade de saída 46 e para outro dispositivo de vídeo 3D, ou para prover um sinal de vídeo 3D para distribuição, por exemplo, por uma mídia de gravação. O sinal de vídeo 3D se baseia no processamento dos dados de vídeo de entrada 3D 43, por exemplo, codificando e formatando os dados de vídeo 3D de acordo com um formato predefinido.

[044] O dispositivo fonte 3D tem um conversor estéreo para profundidade fonte 48 para a geração de um mapa de profundidade gerado por fonte com base na primeira e na segunda informações de vídeo, e um processador de profundidade fonte 42 para prover dados para assistente de profundidade.

[045] Um conversor estéreo para profundidade para a geração de um mapa de profundidade, em operação, recebe um sinal estéreo 3D, também denominado sinal de vídeo esquerdo-direito, tendo uma sequência de tempo de quadros esquerdos L e quadros direitos R representando uma vista esquerda e uma vista direita a serem mostradas para os respectivos olhos de um visualizador para a geração de um efeito 3D. A unidade produz um mapa de profundidade gerado pela estimativa de disparidade da vista esquerda e da vista direita, e pode ainda prover uma imagem 2D com base na vista esquerda e/ou na vista direita. A estimativa de disparidade pode se basear em algoritmos de estimativa de disparidade usados para comparar os quadros L e R. As grandes diferenças entre as vistas L e R de um objeto são convertidas em valores de profundidade antes ou atrás da tela do display na dependência da direção da diferença. A produção da unidade geradora é o mapa de profundidade gerado. Subsequentemente, os dados para assistente de profundidade são gerados onde forem detectados erros de profundidade, isto é, somente quando uma diferença entre o mapa de profundidade fonte e o mapa de profundidade gerado ultrapassar um limite predeterminado. Por exemplo, uma predeterminada diferença de profundidade pode constituir o dito limite. O limite pode também ser tornado dependente de outras propriedades de imagem que afetam a visibilidade dos erros de profundidade, por exemplo, a intensidade ou contraste, ou a textura da imagem local. O limite pode também ser determinado detectando um nível de qualidade do mapa de profundidade gerado como a seguir. O mapa de profundidade gerado é utilizado para dobrar uma vista tendo a orientação correspondente a uma dada vista diferente. Por exemplo, uma vista R’ se baseia nos dados de imagem original L e no mapa de profundidade gerado. Subsequentemente, é calculada uma diferença entre a vista R’ e a vista R original, por exemplo, pela bem conhecida função PSNR (Razão de Pico Sinal para Ruído). A PSNR é a razão entre a potência máxima possível de um sinal e a potência do ruído corruptor que afeta a fidelidade de sua representação. Devido a que muitos sinais têm uma faixa dinâmica muito ampla, a PSNR é normalmente expressa em termos da escala decibel logarítmica. A PSNR pode ser utilizada agora como a medida da qualidade do mapa de profundidade gerado. O sinal nesse caso é o R dos dados originais e o ruído é o erro introduzido pela dobra R’ com base no mapa de profundidade gerado. Além disso, o limite pode também ser considerado com base em outros critérios de visibilidade, ou por um editor autorizando ou revisando os resultados com base no mapa de profundidade gerado, e controlando quais das seções e/ou períodos do vídeo 3D que precisam ser aumentados pelos dados para assistente de profundidade.

[046] Os dados para assistente de profundidade representam o mapa de profundidade fonte, por exemplo, os valores de profundidade do mapa de profundidade fonte nos locais dos ditos erros de profundidade. Alternativamente, a diferença de profundidade ou um fator de correção de profundidade pode ser incluído nos dados para assistente de profundidade de maneira a indicar para o dispositivo de destino como chegar nos valores de profundidade do mapa de profundidade fonte. A unidade de saída 46 está disposta para incluir os dados para o assistente de profundidade no sinal de vídeo 3D. Uma unidade processadora tendo as funções do processador de profundidade 42, do conversor estéreo para profundidade 48 e da unidade de saída 46 pode ser denominado como um codificador 3D.

[047] A fonte 3D pode ser um servidor, um difusor, um dispositivo de gravação, ou um sistema de autorização e/ou produção para a fabricação dos veículos de registros ópticos como um Disco Blu-ray. O Disco Blu-ray fornece uma plataforma interativa para a distribuição do vídeo para os criadores de conteúdo. As informações no formato Disco Blu-ray estão disponíveis no website da associação do Disco Blu-ray em documentos no formato de aplicativo audiovisual, por exemplo,

[048] http://www.blu-raydisc.com/Assets/Downloa dablefile/2b_bdrom_audiovisualapplication_0305-12955- 15269.pdf. O processo de produção da mídia de gravação óptico ainda compreende as etapas de prover um padrão físico de marcas em trilhas cujo padrão incorpora o sinal de vídeo 3D que inclui os dados para assistente de profundidade, e subsequentemente conformando o material da mídia de gravação de acordo com o padrão para prover as trilhas de marcas em pelo menos uma camada de armazenagem.

[049] O dispositivo de destino 3D 50 tem uma unidade de entrada 51 para a recepção do sinal de vídeo 3D 41. Por exemplo, o dispositivo pode incluir uma unidade de disco óptico 58 acoplada à unidade de entrada para a recuperação das informações de vídeo 3D a partir de uma mídia de gravação óptica 54 como um disco DVD ou Blu-ray. Alternativamente (ou além disso), o dispositivo pode incluir uma unidade de interface de rede 59 para acoplar a uma rede 45, por exemplo, à internet ou a uma rede de difusão, como um dispositivo como um decodificador ou um dispositivo de computação móvel como um telefone móvel ou computador tablet. O sinal de vídeo 3D pode ser recuperado de um website remoto ou servidor de mídia, por exemplo, o dispositivo fonte 3D 40. O dispositivo para o processamento de imagem 3D pode ser um conversor que converta um sinal de entrada de imagem em um sinal de saída de imagem tendo as necessárias informações de profundidade. Esse conversor pode ser utilizado para converter diferentes sinais de vídeo de entrada 3D para um tipo específico de display 3D, por exemplo, conteúdo padrão 3D para um sinal de vídeo adequado para displays autoestereoscópicos de um determinado tipo ou fornecedor. Na prática, o dispositivo pode ser um player de disco óptico 3D ou um receptor de satélite ou decodificador, ou qualquer tipo de mídia player.

[050] O dispositivo de destino 3D tem um processador de profundidade 52 acoplado à unidade de entrada 51 para o processamento das informações 3D para a geração de um sinal de display 3D 56 para ser transferido por meio de uma unidade de interface de saída 55 para o dispositivo de display, por exemplo, um sinal de display de acordo com o padrão HDMI, ver “High Definition Multimedia Interface; Specification Version 1.4a of March 4, 2010”, cuja parte 3D está disponível em http://hdmi.org/manufacturer/especificação.aspx para ser baixado pelo público.

[051] O dispositivo de destino 3D tem um conversor estéreo para profundidade 53 para a geração de um mapa de profundidade de destino gerado com base na primeira e na segunda informações de vídeo. A operação do conversor estéreo para profundidade é equivalente para o conversor estéreo para profundidade no dispositivo fonte acima descrito. Quando ambos os conversores são iguais, os mesmos erros de profundidade ocorrerão, erros que podem ser corrigidos por meio dos dados para assistente de profundidade. Se o conversor estéreo para profundidade de destino for aperfeiçoado, isto é, operar pelo menos tão bem quanto o conversor estéreo para profundidade fonte, o mapa de profundidade destino final beneficiará onde não existirem dados de assistente disponíveis. Uma unidade tendo as funções do processador de profundidade de destino 52, o conversor estéreo para profundidade 53 e a unidade de saída 55 podem ser denominados um decodificador 3D.

[052] O processador de profundidade destino 52 está disposto para gerar os dados de imagem incluídos no sinal do display 3D 56 para exibição no dispositivo de display 60. O processador de profundidade está disposto para a geração de um mapa de profundidade destino com base no mapa de profundidade destino gerado quando não existirem dados para assistente de profundidade disponíveis no sinal de vídeo 3D, e com base nos dados para assistente de profundidade quando os dados para assistente de profundidade estiverem disponíveis no sinal de vídeo 3D. Por exemplo, um comutador de profundidade pode substituir os valores de profundidade do mapa de profundidade destino gerado pelos valores de profundidade providos pelos dados para assistente de profundidade, onde existirem. O processamento dos dados para assistente de profundidade são mais elucidados abaixo.

[053] O dispositivo de display 3D 60 serve para exibir os dados de imagem 3D. O dispositivo tem uma unidade de interface de entrada 61 para receber o sinal do display 3D 56 incluindo os dados de vídeo 3D e o mapa de profundidade destino transferidos do dispositivo de destino 3D 50. O dispositivo tem um processador de vista 62 para gerar múltiplas vistas dos dados de vídeo 3D com base na primeira e na segunda informações de vídeo na dependência do mapa de profundidade destino, e um display 3D 63 para exibir as múltiplas vistas dos dados de vídeo 3D. Os dados de vídeo transferidos 3D são processados na unidade de processamento 62 para exibição no display 3D 63, por exemplo, um LCD multivisão. O dispositivo de display 60 pode ser qualquer tipo de display estereoscópico, também denominado display 3D.

[054] O processador de vídeo 62 no dispositivo de display 3D 60 está disposto para processar os dados de vídeo 3D para gerar sinais de controle de display para obter múltiplas vistas. As vistas são geradas a partir dos dados de imagem 3D usando o mapa de profundidade destino. Alternativamente, o processador de vídeo 52 em um dispositivo player 3D pode ser disposto para realizar o dito processamento do mapa de profundidade. As múltiplas vistas geradas para o display 3D especificado podem ser transferidas com o sinal da imagem 3D para o dito display 3D.

[055] Em outra realização, o dispositivo de destino e o dispositivo de display são combinados em um único dispositivo. As funções do processador de profundidade 52 e da unidade de processamento 62, e as funções restantes da unidade de saída 55 e da unidade de entrada 61, podem ser realizadas por uma única unidade processadora de vídeo.

[056] A Figura 2 mostra um decodificador 3D usando dados para assistente de profundidade. Um decodificador 3D 20 é mostrado esquematicamente tendo uma entrada para um sinal de vídeo 3D marcada BS3 (sinal base 3D). Um desmultiplexador de entrada 21 (DEMUX) recupera os fluxos de bits das vistas esquerda e direita (LR-bitstr) e os dados para assistente de profundidade (DH-bitstr). Um primeiro decodificador 22 (DEC) decodifica as vistas esquerda e direita para produzir L e R, que estão também acoplados a um conversor estéreo para profundidade do tipo consumidor (CE-S2D), que gera um mapa de profundidade esquerdo LD1 e um mapa de profundidade direito RD1, denominado mapa de profundidade destino gerado. Um segundo decodificador 23 decodifica o DH-bitstr e fornece um mapa de profundidade assistente esquerdo LD2 e um mapa de profundidade assistente direito RD2 onde existem os dados para assistente de profundidade. Um comutador de profundidade DEPTH-SW 25 seleciona o mapa de profundidade destino gerado (LD1/RD1) ou o mapa de profundidade assistente esquerdo LD2 e o mapa de profundidade assistente direito RD2, por exemplo, com base em uma marcação que indica a presença de dados para assistente de profundidade.

[057] O decodificador 3D pode fazer parte de um decodificador (STB) no lado do consumidor, que recebe o fluxo de bits de acordo com o sistema assistente de profundidade (BS3), que é desmultiplexado em 2 fluxos: um fluxo de vídeo tendo vistas L e R, e um fluxo de profundidade tendo dados assistentes de profundidade (DH) que são então ambos enviados aos respectivos decodificadores (por exemplo, MVC/H264). Uma marcação local é obtida e utilizada para comutar entre as profundidades decodificadas DH (LD2/RD2) e os valores de profundidade (LD1/RD1) gerados no local (por CE-S2D). As produções finais do decodificador 3D (LD3/RD3) são então transferidas para um bloco de dobra de vista como discutido nas figuras 4 ou 5 dependendo do tipo de display.

[058] A Figura 3 mostra um codificador 3D fornecendo dados para assistente de profundidade. Um codificador 3D 30 é mostrado esquematicamente tendo uma entrada (L, R) para a recepção de um sinal de vídeo 3D. Um conversor estéreo para profundidade (por exemplo, um tipo profissional de alta qualidade HQ-S2D) gera um mapa de profundidade esquerdo LD4 e um mapa de profundidade direito RD4, denominado mapa de profundidade gerado por fonte. Outra entrada recebe um mapa de profundidade fonte (marcado LD-man, RD-man), que pode ser provido off-line (por exemplo, editado ou aperfeiçoado manualmente), ou pode estar disponível com o sinal de vídeo de entrada 3D. Uma unidade comutadora de profundidade 32 recebe tanto o mapa de profundidade gerado por fonte LD4, RD4 como o mapa de profundidade fonte LD-man e RD-man e determina se a diferença entre o mapa de profundidade fonte e o mapa de profundidade gerado ultrapassa um limite predeterminado. Caso positivo, os comutadores de profundidade geram os dados para assistente de profundidade LD5, RD5. O comutador de profundidade pode selecionar um dos mapas de profundidade. A seleção pode também se basear em um sinal externo (marcação indicada) que indica essa diferença, sinal que pode ser incluído no sinal de saída como dados de sinalização de assistente pelo multiplexador de saída 35 (MUX). O multiplexador também recebe os dados de vídeo codificado (BS1) de um primeiro codificador 33 e os dados codificados para assistente de profundidade (BS2) de um segundo codificador 34, e gera o sinal de vídeo 3D marcado com BS3.

[059] No codificador 3D, a unidade de saída pode ser disposta para incluir os dados para assistente de profundidade no sinal de vídeo 3D somente por um período de tempo de correção quando dentro do período de correção a dita diferença ultrapassar o dito limite. Além disso, a unidade de saída pode ser disposta para incluir os dados para assistente de profundidade no sinal de vídeo 3D somente para uma área de correção menor que o display 3D quando na área de correção a dita diferença ultrapassar o dito limite. Por exemplo, um mapa de profundidade que forneça os dados para assistente de profundidade tem (i) quadro total, (ii) presente parcialmente, ou (iii) não presente. Também o mapa de profundidade pode estar presente em somente certos quadros ou GOPs. Também, pode ser incluído um mapa de profundidade de quadro total, mas tendo um determinado valor de luminância (por exemplo, 0x00 ou 0xFF) indicado para significar “não existem informações de assistente de profundidade”. Esse mapa pode ser codificado de uma forma compatível para trás. Também, os dados para assistente de profundidade e suas localizações de quadros podem ser armazenados em uma tabela ou em outra estrutura de dados, transmitidas nos dados de usuário ou em algum outro fluxo.

[060] O codificador tem o seguinte efeito. As informações de profundidade denominadas dados para assistente de profundidade são parcialmente transmitidas tanto no tempo (profundidades parciais no tempo) e/ou espacialmente (profundidade parcial dentro dos quadros). Existe um mecanismo explícito ou implícito incluído para indicar quando essas profundidades parciais devem ser utilizadas ou quando as profundidades devem ser geradas automaticamente no local. Um mecanismo explícito pode ser por meio da inserção de marcadores no fluxo de bits, e implícito pode por meio da convenção que a ausência de dados para assistente de profundidade como tal indica que deve ser gerada a profundidade local.

[061] Em uma realização, em um mapa de profundidade um determinado nível de profundidade LEV (por exemplo, o nível preto 0 ou o nível branco 255) pode ser indicado como significando que nenhuma profundidade DH é transmitida. Esse valor de não profundidade está fisicamente presente na posição do valor de profundidade, que tem algumas vantagens práticas, por exemplo, para manter síncronos o vídeo e a profundidade.

[062] Também, essa sinalização permite a indicação “espacial” dos dados para assistente de profundidade, de maneira não somente parcialmente temporal, mas também parcialmente espacial, isto é, somente partes dentro de um quadro. Por exemplo, erros de profundidade pode estar presente em algumas partes do mapa de profundidade local gerado dentro de um quadro de uma determinada tomada. Nesse caso, os dados para assistente de profundidade serão estabelecidos no nível de não profundidade LEV, exceto pelos pixels em que a profundidade gerada no local tenha sido inadequada.

[063] Um exemplo em que podem ocorrer erros de profundidade são os logos que estão constantemente presentes no conteúdo, também nos limites das tomadas. Normalmente, o mapeamento das disparidades das profundidades seria diferente para cada tomada, enquanto tipicamente as disparidades dos logos são constantes. A profundidade local gerada pode ser errônea de maneira que as profundidades do logo variam no tempo com relação às tomadas. Devido à natureza dos ASDs, isto também pode resultar em um efeito borrado de certa forma variável, para o qual o olho humano é muito sensível. Entretanto, os dados para assistente de profundidade disponíveis (isto é, em um valor não LEV) somente para aqueles pixels de profundidade correspondentes ao logo, permitem estabelecer a profundidade do logo em um nível fixo e adequado. Assim são superados esses problemas de qualidade. Os valores do mapa de profundidade sendo não LEV serão interpretados como um marcador e para aqueles pixels, a produção de profundidade (LD3/RD3) será comutada das profundidades geradas no local LD1/RD1 para dados de assistente de profundidade LD2/RD2.

[064] O comportamento do módulo do conversor estéreo para profundidade S2D (CE-S2D ou HQ-S2D ), que converte o sinal padrão estéreo disponível standard para um ou dois sinais de profundidade correspondentes, é conhecido (e fixado). Vantajosamente, um conversor estéreo para profundidade específico é especificamente escolhido para fazer parte de um formato padrão standard 3D. Assim, o conversor estéreo para profundidade no lado do decodificador pode então ser tornado igual para o conversor estéreo para profundidade no lado do codificador. Isso permite o controle de qualidade no lado do codificador do módulo S2D no decodificador, CE-S2D. Se resultar, por exemplo, que em uma dada tomada (início da nova cena ou “take” ) a qualidade após transformar em uma ASD seja insuficiente (algo que tipicamente somente aconteceria de vez em quando, digamos 5% das tomadas), somente para aquelas tomadas, os dados para assistente de profundidade são criados e transmitidos. Isso não somente garante a qualidade total, mas também limita os custos de criação de conteúdo, enquanto ao mesmo tempo economiza a transmissão de bits.

[065] É notado que o princípio dos dados para assistente de profundidade pode ser aplicado em todas as etapas de transferência de vídeo 3D, por exemplo, entre um estúdio ou autor e um difusor que ainda codifique os mapas de profundidade ampliados para a transmissão para um consumidor. Também o sistema de dados para assistente de profundidade pode ser realizado em transferências consecutivas, por exemplo, outra versão aperfeiçoada pode ser criada em uma versão inicial incluindo segundos dados para assistente de profundidade com base em outra fonte aperfeiçoada de mapa de profundidade. Isso dá maior flexibilidade em termos de qualidade que possa ser obtida nos display 3D, nas taxas de bits necessárias para a transmissão das informações de profundidade ou custos para a criação do conteúdo 3D.

[066] Em uma realização, os dados para assistente de profundidade podem ter a seguinte forma. O sinal de vídeo 3D inclui um mapa de profundidade correspondente a uma área do display no display 3D. O dito mapa de profundidade tem os dados para assistente de profundidade para a área de correção e/ou o período de correção. Além disso, um valor predefinido de não profundidade indica a ausência de dados para assistente de profundidade para uma localização correspondente de outras áreas e/ou períodos.

[067] Em uma realização, o mapa de profundidade pode incluir pelo menos um dos dados de profundidade correspondentes à vista esquerda, dados de profundidade correspondentes à vista direita, e/ou dados de profundidade correspondentes a uma vista central. Também, os dados de profundidade podem ter uma resolução menor que a primeira informação de vídeo ou a segunda informação de vídeo.

[068] O processador de profundidade pode ser montado para gerar os dados para assistente de profundidade para a área de correção, de maneira que a dita área de correção esteja alinhada a pelo menos um macrobloco no sinal de vídeo 3D. Os macroblocos representam um bloco predeterminado de dados de vídeo comprimido, por exemplo, em um sinal codificado de vídeo MPEG.

[069] O macrobloco alinhado à área de correção pode incluir outros dados de profundidade para locações quando a diferença entre o mapa de profundidade fonte e o segundo mapa de profundidade gerado não exceder o limite predeterminado. Essa área de correção também contém pixels para os quais os valores de profundidade do segundo mapa de profundidade gerado e o mapa de profundidade fonte são pequenos e abaixo do limite. Os outros dados de profundidade podem ser com base no segundo mapa de profundidade gerado para evitar saltos de profundidade no limite externo do macrobloco alinhado à área de correção. Tornar os outros valores de correção de profundidade iguais aos valores gerados, no lado do decodificador, evita que as diferenças de profundidades nos macroblocos se tornem visíveis.

[070] Em uma realização, o sinal de vídeo 3D contém os dados de assistência de sinalização. Os dados de assistência de sinalização indicam a disponibilidade dos dados para assistente de profundidade. Os dados de assistência de sinalização podem tomar a forma de pelo menos um dos seguintes. Um sinal de sinalização pode indicar a presença dos dados para assistente de profundidade. Um valor predefinido de não profundidade em um mapa de profundidade pode indicar a ausência de dados para assistente de profundidade para uma localização correspondente. Os dados de comprimento de assistência podem indicar a quantidade de dados para assistente de profundidade em uma estrutura de dados. Os dados indicadores de vista podem indicar o número e/ou os tipos de vistas para as quais os dados para assistente de profundidade estão disponíveis. Os dados dos tipos de assistência podem indicar uma estrutura de dados ou formato de dados utilizado para os dados de assistente de profundidade. Os dados de resolução de assistência podem indicar uma resolução dos dados para assistente de profundidade. Os dados de localização de assistência podem indicar um local dos dados para assistente de profundidade.

[071] Nota-se que os dados para assistente de profundidade pretendem auxiliar/corrigir aquelas áreas do mapa de profundidade gerado automaticamente que possam causar erros na produção após a obtenção. As áreas não usadas do mapa de profundidade podem ser indicadas por um único valor de luminância. A esse valor denominamos NoDH.

[072] Outros parâmetros de sinalização, que podem ser transferidos (um ou mais, incluindo várias combinações) para os dados para assistente de profundidade são:

[073] 1. Interpretação dos dados de profundidade,

[074] a. Zfar , znear (valores de profundidade mais próximos e mais longínquos),

[075] b. znear_sign (indica como interpretar o znearvalue 0 como positivo, 1 como negativo.

[076] C. znear_exponent (para extensão a uma maior fidelidade de valores de profundidade.

[077] D. num_of_views (o número de vistas para as quais as informações de profundidade estão presentes).

[078] 2. Sinalização específica de processamento para assistir na obtenção dos melhores resultados entre os dados para assistente de profundidade. A sinalização consistirá de um número que corresponda à sinalização utilizada em uma tabela definida.

[079] a. O tipo de escalonamento utilizado nos dados DH, o tipo de algoritmo utilizado no escalonamento, bilinear, bicúbico, etc.

[080] b. Os tipos de bordas nas informações de profundidade. Isso consiste em uma tabela que indica um determinado tipo de borda para auxiliar o operador a obter os resultados máximos entre os dados para assistente de profundidade. Por exemplo, Sharp, Fuzzy, Soft, etc.

[081] c. O algoritmo utilizado para gerar os dados para assistente de profundidade. O sistema de obtenção poderá interpretar esse valor e daí inferir como obter os dados para assistente de profundidade.

[082] Manual, profundidade do foco, profundidade da perspectiva, profundidade do movimento, uma combinação de abordagens, etc. etc.

[083] Além dos valores de entrada da tabela listados acima, os seguintes outros valores reais:

[084] d. A quantidade de dilatação utilizada nas bordas dos objetos nos dados de profundidade, de 0 a 128.

[085] e. O valor de luminância nos dados de imagem de profundidade que não contenham Dados para assistente de profundidade. NoDH como um valor entre 0 e 255. Para minimizar a taxa de bits nas bordas, isso deve ser alinhado em bloco em, por exemplo, 8x8 ou 16x16, correspondendo ao tamanho de macrobloco do fluxo de vídeo de profundidade.

[086] Tanto a interpretação dos dados de profundidade (1) como a sinalização específica de processamento para a obtenção (2) são transmitidas preferencialmente de maneira que estejam contidas no sinal de vídeo, no fluxo elementar de vídeo. Para a transmissão da interpretação dos dados de profundidade, foi proposto definir um novo tipo de unidade nal para esta denominada atualização de faixa de profundidade.

[087] Com relação à sinalização específica de processamento, os dados também precisam ser utilizados ao interpretar os dados para assistente de profundidade; propomos realizar a sinalização nas unidades NAL que fazem parte do fluxo de vídeo que transporta os dados para assistente de profundidade. Para essas, podemos estender a unidade depth_range_update nal com uma tabela que definimos como dados Rendering_Depth_Helper. Alternativamente, a tabela abaixo pode ser transportada em uma mensagem SEI, já que essas também são também transportadas no fluxo elementar de vídeo.

[088] Segue abaixo uma tabela que mostra um exemplo de parte de uma unidade nal com os dados como indicados.

[089] Tabela 1: obtenção dos dados para assistente de profundidade.

[090] Em uma realização, o sinal de vídeo 3D é formatado para incluir o fluxo de dados de vídeo codificado e disposto para transportar as informações de decodificação de acordo com um padrão predefinido, por exemplo, o padrão BD. Os dados de assistência de sinalização no sinal de vídeo 3D estão incluídos de acordo com o padrão como informações de decodificação, em pelo menos uma mensagem de dados de usuário; uma mensagem de informações de fluxo elementar de sinalização [SEI]; uma tabela de ponto de entrada; ou uma descrição baseada em XML.

[091] A Figura 4 mostra um dispositivo de display autoestéreo e um gerador de múltiplas vistas. Um display autoestéreo (ASD) 403 recebe múltiplas vistas geradas por um processador de profundidade 400. O processador de profundidade tem uma unidade de dobra de vista 401 para a geração de um conjunto de vistas 405 a partir de uma vista esquerda completa L e o mapa de profundidade destino LD3, como mostrado na parte inferior da Figura. A interface de entrada de display 406 pode ser de acordo com o padrão HDMI, estendida para transferir RGB e Depth (RGBD HDMI), e inclui uma vista esquerda completa L e o mapa de profundidade destino LD3 com base nos dados para assistente de profundidade HD. As vistas como geradas são transferidas por meio de uma unidade de interfolheamento 402 para o display 403. O mapa de profundidade destino pode ser ainda processado por um processador pós-profundidade Z-PP 404.

[092] A Figura 5 mostra um dispositivo de display estéreo de vista dupla e gerando vistas ampliadas. Um display estéreo de vista dupla (STD) 503 recebe duas vistas ampliadas (new_L, new_R) geradas por um processador de profundidade 501. O processador de profundidade tem uma função de dobra de vista para gerar vistas ampliadas a partir da vista esquerda original total L e a vista total R e o mapa de profundidade destino, como mostrado na parte inferior da Figura. A interface de entrada de display 502 pode ser de acordo com o padrão HDMI, estendido para transferir informações de vídeo IF (HDMI IF). As novas vistas são dobradas com relação a um parâmetro BL indicativo da linha base (BL) durante o display. A linha de base do material de vídeo 3D está originalmente na distância efetiva entre as posições L e R da câmara (corrigidas para óptica, fator de zoom, etc.). Ao exibir o material, a linha de base será efetivamente transladada pela configuração do display como ajustes de tamanho, resolução, distância de visão, ou dos ajustes de preferência do usuário. Para mudar a linha de base durante a exibição, as posições das vistas L e R podem ser mudadas dobrando as novas vistas, denominadas new_L e new_R, formando uma nova distância de linha de base que pode ser maior (> 100%) ou menor (< 100%) que a linha de base original. As novas vistas são alteradas para fora ou para dentro com relação às vistas originais totais L e R em BL = 100%. O terceiro exemplo (0% < BL < 50%) tem ambas as novas vistas dobradas com base em uma vista simples (Full_L). A dobra das novas vistas próximas às vistas totais evita problemas de dobragem. Pelos três exemplos mostrados, a distância entre a nova vista dobrada e a vista original é menor que 25%, permitindo uma faixa de controle de 0%<BL<150%.

[093] A Figura 6 mostra a presença de dados para assistente de profundidade em um sinal de vídeo 3D. Na Figura, uma flecha para cima indica o tempo inicial (t1, t2, etc) de uma nova tomada em um programa de vídeo. Durante as tomadas iniciando em t3 e t6, são gerados os dados para assistente de profundidade LD4 e RD4, como indicado pelo sinal de sinalização subindo. A Figura ilustra a inclusão dos dados para assistente de profundidade no sinal de vídeo 3D somente por um período de tempo de correção quando dentro do período de correção a dita diferença excede um limite, isto é, onde os erros de profundidade em um mapa de profundidade gerado no local são visíveis de uma forma perturbadora.

[094] Apesar de a invenção ter sido principalmente explicada pelas realizações usando os dispositivos de destino do tipo consumidor, a invenção é também adequada para qualquer sistema de vídeo 3D. Em resumo, é proposto um formato e esquema híbrido de transmissão/conversão automática 3D para a transmissão de dados 3D para vários tipos de displays 3D. As informações de profundidade (“depths”) são parcialmente transmitidas tanto no tempo (profundidades parciais no tempo) e/ou espacialmente (profundidade parcial dentro dos quadros). Existe um mecanismo explícito ou implícito para indicar quando essas profundidades parciais devam ser utilizadas ou quando as profundidades devam ser geradas automaticamente no local. O princípio híbrido pode ser aplicado tanto no lado do consumidor e/ou no lado do difusor, o que dá grande flexibilidade em termos de qualidade que pode ser obtida nos displays 3D, nas taxas de bits necessárias para a transmissão das informações de profundidade ou nos custos para a criação do conteúdo 3D.

[095] Deve ser notado que a invenção pode ser realizada em hardware e/ou software, usando componentes programáveis. Um método para a realização da invenção tem as etapas correspondentes às funções definidas para o sistema, como descrito com referência à Figura 1.

[096] Será apreciado que a descrição acima, para clareza, descreveu as realizações da invenção com referência à diferentes unidades funcionais e processadores. Entretanto, ficará aparente que qualquer distribuição adequada de funcionalidade entre diferentes unidades funcionais ou processadores pode ser utilizada sem desviar da invenção. Por exemplo, a funcionalidade ilustrada para ser feita por unidades separadas, processadores ou controladores pode ser feita pelo mesmo processador ou controladores. Assim, as referências a unidades funcionais específicas são somente para serem vistas como referências aos meios adequados para a provisão da funcionalidade descrita ao invés de ser indicativa de uma estrutura ou organização rígida lógica ou física. A invenção pode ser realizada sob qualquer forma, incluindo hardware, software, firmware ou qualquer dessas combinações.

[097] Note-se que, neste documento a palavra ‘compreendendo’ não exclui a presença de outros elementos ou etapas além das listadas e a palavra ‘um’ ou ‘uma’ anterior a um elemento não exclui a presença de uma pluralidade desses elementos, que nenhum dos sinais de referência limita o escopo das reivindicações, que a invenção pode ser realizada por meio tanto de hardware como de software, e vários ‘meios’ ou ‘unidades’ podem ser representados pelo mesmo item de hardware ou de software, e um processador pode realizar a função de uma ou de mais unidades, possivelmente em cooperação com elementos de hardware. Além disso, a invenção não se limita às realizações, e a invenção se baseia em todas as novas características ou combinações de características acima descritas ou mencionadas em reivindicações dependentes mutuamente diferentes.

Claims

1. DISPOSITIVO FONTE 3D (40) PARA A PROVISÃO DE UM SINAL DE VÍDEO TRIDIMENSIONAL [3D] (41) PARA A TRANSFERÊNCIA PARA UM DISPOSITIVO DE DESTINO 3D (50), caracterizado pelo sinal de vídeo 3D compreender: - primeira informação de vídeo representando uma vista do olho esquerdo em um display 3D, - segunda informação de vídeo representando uma vista do olho direito no display 3D, o dispositivo de destino 3D compreendendo: - um receptor (51,58,59) para a recepção do sinal de vídeo 3D, - um conversor estéreo para profundidade (53) para a geração de um primeiro mapa de profundidade gerado com base na primeira e na segunda informações de vídeo, o dispositivo fonte 3D compreendendo: - uma unidade de saída (46) para a geração do sinal de vídeo 3D, e para a transferência do sinal de vídeo 3D para o dispositivo de destino 3D, em que o dispositivo fonte 3D está disposto para - prover um mapa de profundidade fonte referente às informações de vídeo, e o dispositivo fonte 3D compreende - um conversor estéreo para profundidade fonte (48) para a geração de um segundo mapa de profundidade gerado com base na primeira e na segunda informações de vídeo, e - um processador de profundidade fonte (42) disposto para prover dados para assistente de profundidade somente quando uma diferença entre o mapa de profundidade fonte e o segundo mapa de profundidade gerado ultrapassar um limite predeterminado, os dados para assistente de profundidade representando o mapa de profundidade fonte, e a unidade de saída está disposta para incluir os dados para assistente de profundidade no sinal de vídeo 3D, e o dispositivo de destino 3D compreende um processador de profundidade (52) para - gerar um mapa de profundidade destino com base no primeiro mapa de profundidade gerado quando não existirem dados para assistente de profundidade disponíveis no sinal de vídeo 3D, e com base nos dados para assistente de profundidade quando dados para assistente de profundidade estiverem disponíveis no sinal de vídeo 3D.

2. DISPOSITIVO FONTE 3D, de acordo com a reivindicação 1, caracterizado pela unidade de saída estar disposta para incluir os dados para assistente de profundidade no sinal de vídeo 3D somente para um período de tempo de correção quando dentro do período de correção a dita diferença ultrapassar o dito limite.

3. DISPOSITIVO FONTE 3D, de acordo com a reivindicação 1, caracterizado pela unidade de saída estar disposta para incluir os dados para assistente de profundidade no sinal de vídeo 3D somente para uma área de correção menor que o display 3D quando na área de correção a dita diferença ultrapassar o dito limite.

4. DISPOSITIVO FONTE 3D, de acordo com a reivindicação 3, caracterizado pelo processador de profundidade estar disposto para gerar os dados para assistente de profundidade para a área de correção, de maneira que a dita área de correção esteja alinhada a pelo menos um macrobloco no sinal de vídeo 3D, o macrobloco representando um bloco predeterminado de dados de vídeo comprimido, sendo que o macrobloco alinhado à área de correção compreende outros dados de profundidade para locações quando a diferença entre o mapa de profundidade fonte e o segundo mapa de profundidade gerado não exceder o limite predeterminado.

5. DISPOSITIVO FONTE 3D, de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pela unidade de saída estar disposta para incluir os dados de assistência de sinalização no sinal de vídeo 3D, os dados de assistência de sinalização indicando a disponibilidade dos dados para assistente de profundidade.

6. DISPOSITIVO FONTE 3D, de acordo com a reivindicação 5, caracterizados pelos dados de assistência de sinalização compreenderem pelo menos um dentre: - um sinal de sinalização que indica a presença dos dados para assistente de profundidade; - um valor predefinido de não profundidade em um mapa de profundidade indicando a ausência de dados para assistente de profundidade para uma localização correspondente; - dados de comprimento de assistência indicativos da quantidade de dados para assistente de profundidade em uma estrutura de dados; - dados indicadores de vista indicativos de um número e/ou tipos de vistas para as quais os dados para assistente de profundidade estão disponíveis; - dados dos tipos de assistência indicativos de uma estrutura de dados utilizada para os dados para assistente de profundidade; - dados de resolução de assistência indicativos da resolução dos dados para assistente de profundidade; - dados de localização de assistência indicativos da localização dos dados para assistente de profundidade.

7. DISPOSITIVO FONTE 3D, de acordo com a reivindicação 5, caracterizado pela unidade de saída ser disposta para incluir, no sinal de vídeo 3D, um mapa de profundidade correspondente a uma área do display no display 3D, sendo que o mapa de profundidade compreende os dados para assistente de profundidade para a área de correção e/ou o período de correção, e, como os dados de assistência de sinalização, um valor predefinido de não profundidade indicando a ausência de dados para assistente de profundidade para uma localização correspondente para outras áreas e/ou períodos.

8. DISPOSITIVO DE DESTINO 3D (50) PARA A RECEPÇÃO DE UM SINAL DE VÍDEO TRIDIMENSIONAL [3D] DE UM DISPOSITIVO FONTE 3D, caracterizado pelo sinal de vídeo 3D compreender: - primeira informação de vídeo representando uma vista do olho esquerdo em um display 3D, - segunda informação de vídeo representando uma vista do olho direito no display 3D, o dispositivo de destino 3D compreendendo: - receptor para a recepção do sinal de vídeo 3D, - um conversor estéreo para profundidade para a geração de um primeiro mapa de profundidade gerado com base na primeira e na segunda informações de vídeo, em que o dispositivo fonte 3D está disposto para - prover um mapa de profundidade fonte referente às informações de vídeo, e o dispositivo fonte 3D compreende - um conversor estéreo para profundidade fonte para a geração de um segundo mapa de profundidade gerado com base na primeira e na segunda informações de vídeo, e - um processador de profundidade fonte disposto para prover dados para assistente de profundidade somente quando uma diferença entre o mapa de profundidade fonte e o segundo mapa de profundidade gerado ultrapassar um limite predeterminado, os dados para assistente de profundidade representando o mapa de profundidade fonte, e a unidade de saída está disposta para incluir os dados para assistente de profundidade no sinal de vídeo 3D, e o dispositivo de destino 3D compreende um processador de profundidade para - gerar um mapa de profundidade destino com base no primeiro mapa de profundidade gerado quando não existirem dados para assistente de profundidade disponíveis no sinal de vídeo 3D com base nos dados para assistente de profundidade quando dados para assistente de profundidade estiverem disponíveis no sinal de vídeo 3D.

9. DISPOSITIVO DE DESTINO, de acordo com a reivindicação 8, caracterizado pelo receptor compreender uma unidade de leitura (58) para leitura de um veículo de registro para a recepção do sinal de vídeo 3D.

10. DISPOSITIVO DE DESTINO, de acordo com a reivindicação 8, caracterizado pelo dispositivo compreender - um processador de vista para gerar múltiplas vistas dos dados de vídeo 3D com base na primeira e na segunda informações de vídeo na dependência do mapa de profundidade destino; - um display 3D (63) para exibir as múltiplas vistas dos dados de vídeo 3D.

11. MÉTODO PARA PROVISÃO DE UM SINAL DE VÍDEO TRIDIMENSIONAL [3D] PARA A TRANSFERÊNCIA PARA UM DISPOSITIVO DE DESTINO 3D, caracterizado pelo sinal de vídeo 3D compreender: - primeira informação de vídeo representando uma vista do olho esquerdo em um display 3D, - segunda informação de vídeo representando uma vista do olho direito no display 3D, o dispositivo de destino 3D compreendendo: - receptor para a recepção do sinal de vídeo 3D, - um conversor estéreo para profundidade para a geração de um primeiro mapa de profundidade gerado com base na primeira e na segunda informações de vídeo, o método compreendendo - gerar o sinal de vídeo 3D, e transferir o sinal de vídeo 3D para o dispositivo de destino 3D, em que o método compreende - prover um mapa de profundidade fonte referente às informações de vídeo, - gerar um segundo mapa de profundidade gerado com base na primeira e na segunda informações de vídeo, e - prover dados para assistente de profundidade somente quando uma diferença entre o mapa de profundidade fonte e o segundo mapa de profundidade gerado ultrapassar um limite predeterminado, os dados para assistente de profundidade representando o mapa de profundidade fonte, e incluir os dados para assistente de profundidade no sinal de vídeo 3D, e o dispositivo de destino 3D compreende um processador de profundidade para - gerar um mapa de profundidade destino com base no primeiro mapa de profundidade gerado quando não existirem dados para assistente de profundidade disponíveis no sinal de vídeo 3D e com base nos dados para assistente de profundidade quando os dados para assistente de profundidade estiverem disponíveis no sinal de vídeo 3D.

12. MÉTODO, de acordo com a reivindicação 11, caracterizado pelo método compreender a etapa de fabricação de um veículo de registro, o veículo de registro sendo provido com uma trilha de marcas representando o sinal de vídeo 3D.

13. SINAL DE VÍDEO TRIDIMENSIONAL [3D] PARA A TRANSFERÊNCIA DE DADOS DE VÍDEO 3D DE UM DISPOSITIVO FONTE 3D PARA UM DISPOSITIVO DE DESTINO 3D, caracterizado pelo sinal de vídeo 3D compreender: - primeira informação de vídeo representando uma vista do olho esquerdo em um display 3D, - segunda informação de vídeo representando uma vista do olho direito no display 3D, e - dados para assistente de profundidade que estão presentes apenas quando uma diferença entre um primeiro e um segundo mapa de profundidade que são ambos gerados pelo dispositivo de destino 3D e que são ambos baseados na primeira e na segunda informação de vídeo, excede um limite predeterminado.

14. MÍDIA DE GRAVAÇÃO (54), caracterizado por compreender o sinal de vídeo tridimensional [3D], conforme definido na reivindicação 13.

15. MÍDIA LEGÍVEL LIDA POR COMPUTADOR QUE ARMEZENA INSTRUÇÕES EXECUTÁVEIS POR COMPUTADOR, caracterizada por, quando executada por um processador, realizar as respectivas etapas do método conforme definido na reivindicação 11.