BR112018000078B1 - Método e aparelho para conversão de sinais de hdr - Google Patents

Abstract

MÉTODO E APARELHO PARA CONVERSÃO DE SINAIS DE HDR. Um método para o processamento de um sinal de vídeo de entrada destina-se a um primeiro monitor para produzir um sinal de saída apropriado para um segundo monitor que compreende a conversão utilizando uma ou mais funções de transferência. As funções de transferência são dispostas de modo a proporcionar valores de luz relativos à cena para, em seguida, retirar ou aplicar o propósito de processamento. A tentativa de processamento sendo o propósito de processamento do sinal de entrada ou para o propósito do processamento do sinal de saída. A remoção ou aplicação do método de renderização altera a luminância. Significativamente, a conversão é disposta de modo a alterar a luminância, mas não os componentes de cor de modo que a cor não é alterada.

Description

ANTECEDENTES

[0001] A presente invenção refere-se ao processamento de um sinal de vídeo de uma fonte, para converter entre um sinal produzido de acordo com as primeiras configurações de renderização para um sinal utilizável por uma exibição de segundas configurações de renderização.

[0002] O vídeo de alta faixa dinâmica (HDR) está começando a ficar disponível. O vídeo HDR tem uma faixa dinâmica, ou seja, a relação entre as partes mais brilhantes e mais sombrias da imagem, de 10000: 1 ou mais. A faixa dinâmica às vezes é expressa como "paradas", que é logaritmo para a base 2 da faixa dinâmica. Uma faixa dinâmica de 10000: 1 equivale, portanto, a 13,29 paradas. As melhores câmeras modernas podem capturar uma faixa dinâmica de 13,5 paradas e isso está melhorando à medida que a tecnologia se desenvolve.

[0003] As televisões convencionais (e as telas de computadores) têm um alcance dinâmico restrito de cerca de 100: 1. Isso às vezes é referido como faixa dinâmica padrão (SDR).

[0004] O vídeo HDR fornece uma experiência de visualização melhorada subjetivamente. É anteriormente descrita como uma sensação aumentada de "estar lá" ou, alternativamente, proporcionar uma experiência mais "imersiva". Por esse motivo, muitos produtores de vídeo gostariam de produzir vídeo em HDR em vez de SDR. Além disso, uma vez que a indústria em todo o mundo está se movendo para o vídeo HDR, as produções já estão sendo feitas com uma alta faixa dinâmica, de modo que eles são mais propensos a manter seu valor em um futuro mundo HDR.

[0005] Várias tentativas foram feitas para converter entre sinais de vídeo HDR e sinais utilizáveis por dispositivos que usam faixas dinâmicas mais baixas (por simplicidade, referida como padrão de faixa dinâmica (SDR)). Uma dessas abordagens é modificar uma função de transferência optoeletrônica (OETF).

[0006] A Figura 1 mostra um exemplo de sistema no qual a OETF modificada pode ser usada para tentar fornecer essa conversão. Uma OETF é uma função que define a conversão de um valor de brilho de uma câmera para um valor de sinal de "tensão" para o processamento subsequente. Durante muitos anos, uma lei de potência com o expoente 0.5 (ou seja, a raiz quadrada) tem sido usualmente utilizada em câmeras para converter de luminância em tensão. Esta função de transferência optoeletrônica (OETF) é definida na Recomendação ITU BT.709 padrão (a seguir "Rec 709") como: Onde: L é luminância da imagem 0<L<1 V é o sinal elétrico correspondente. Observe que, embora a característica Rec 709 seja definida em termos da potência 0,45, em geral, incluindo a porção linear da característica, a característica é intimamente aproximada por uma lei de potência pura com o expoente 0,5.

[0007] Combinado com uma gama de exibição de 2,4, isso dá uma gama global de sistemas de 1,2. Essa não- linearidade deliberada do sistema global é projetada para compensar os efeitos subjetivos da visualização de imagens em um ambiente escuro e com um brilho relativamente baixo. Essa compensação às vezes é conhecida como "intenção de renderização". A lei de potência de aproximadamente 0,5 é especificada na Rec 709 e a gama de exibição de 2,4 é especificada na Recomendação BT.1886 da UIT (daqui em diante, Rec 1886). Embora o processamento acima tenha bom desempenho em muitos sistemas, aperfeiçoamentos são desejáveis para sinais com faixa dinâmica prolongada.

[0008] A disposição mostrada na Figura 1 compreende um HDR OETF 10 disposto para converter a luz linear de uma cena em sinais RGB. Isso geralmente será fornecido em uma câmera. Os sinais RGB podem ser convertidos em sinais YCbCr em um conversor 12 para transmissão e depois convertidos de YCbCr de volta para RGB nos conversores 14 e 16 em um receptor. Os sinais RGB podem, então, ser fornecidos a um dispositivo de exibição HDR ou SDR. Se o receptor for um dispositivo de exibição HDR, ele exibirá a faixa dinâmica completa do sinal usando HDR EOTF 18 para representar com precisão o sinal original criado pela HDR OETF. No entanto, se o dispositivo de exibição SDR for utilizado, EOTF 20 dentro dessa tela não pode apresentar a faixa dinâmica completa e, portanto, fornecerá, necessariamente, alguma aproximação ao nível de luminância apropriado para os valores de luminância superiores do sinal. A maneira pela qual um dispositivo de exibição de faixa dinâmica padrão se aproxima de um sinal HDR depende da relação entre a HDR OETF usada no lado do transmissor e a EOTF de faixa dinâmica padrão usada no lado do receptor.

[0009] A Figura 2 mostra várias modificações para OETFs, incluindo OETF da Rec 709 para comparação. Essas incluem uma conhecida disposição "joelho" favorecida por fabricantes de câmeras que modificam a OETF, adicionando uma terceira seção quase branca, usando um "joelho", para aumentar a faixa dinâmica e evitar cortar o sinal. Também é mostrado um arranjo de "quantificador perceptivo" conhecido. Por fim, também é mostrado um arranjo proposto usando uma curva que inclui uma porção de lei de potência e uma parte de lei de log. A maneira pela qual uma exibição de SDR usando o EOTF Rec 1886 compatível representa imagens produzidas usando uma das HDR OETF depende da OETF selecionadas. No exemplo da função joelho, a OETF é exatamente a mesma que o Rec 709 para a maior parte da curva e parte da mesma para valores de luminância superiores. O efeito para valores de luminância superiores em um receptor SDR será uma imprecisão.

[0010] As conversões descritas acima consideram a capacidade de apresentar um sinal HDR em um dispositivo de exibição SDR.

[0011] No entanto, essas conversões não consideram uma necessidade adicional de converter sinais produzidos para um dispositivo de exibição, de modo que possam ser adequadamente apresentados em um dispositivo de exibição diferente. Essa conversão pode ser necessária, nós apreciamos, mesmo entre os sinais HDR produzidos para um dispositivo de exibição, de modo que eles possam ser usados em um dispositivo de exibição diferente. As conversões para fornecer renderização apropriada em dispositivos de exibição diferentes dependerão da maneira como um sinal foi produzido e da maneira como um dispositivo de exibição alvo renderiza o sinal.

SUMÁRIO DA INVENÇÃO

[0012] Apreciamos que a conversão entre um sinal de vídeo apropriado para um dispositivo de exibição e um sinal de vídeo destinado a um dispositivo de exibição diferente requer um processo que responda por diferentes intenções de renderização. Apreciamos ainda que tal processo deverá evitar alterar as cores, isto é, a tonalidade e a saturação.

[0013] A invenção é definida nas reivindicações às quais referência é dirigida.

[0014] Em termos gerais, a invenção proporciona um método de processamento de um sinal de vídeo de entrada destinado a um primeiro dispositivo de exibição para produzir um sinal de saída apropriado para um segundo dispositivo de exibição, compreendendo a conversão usando uma ou mais funções de transferência dispostas para: - fornecer valores relativos da luz de cena; e - remover ou aplicar a intenção de renderização do sinal de vídeo de entrada ou saída; - em que a remoção ou a aplicação da intenção de renderização altera a luminância.

BREVE DESCRIÇÃO DOS DESENHOS

[0015] A invenção será descrita em mais detalhes {a guisa de exemplo com referência aos desenhos anexos, em que: A Figura 1 é um diagrama de uma disposição na qual uma OETF modificada pode ser usada para modificar um sinal de HDR para uso com equipamento alvo SDR; A Figura 2 é um gráfico que mostra uma comparação das funções de transferência optoeletrônica; A Figura 3 ilustra uma curva gama para um dispositivo de exibição CRT convencional; A Figura 4 mostra uma cadeia de sinais convencionais de uma câmera para o dispositivo de exibição, mostrando as principais funções de transferência; A Figura 5 mostra uma primeira concretização da invenção que envolve a conversão de sinais referidos de cena para sinais referidos de dispositivo de exibição; A Figura 6 mostra uma variação da conversão da Figura 5 em que os sinais referidos de cena incluem alguma intenção de renderização; A Figura 7 mostra uma segunda concretização que proporciona a conversão de sinais referidos do dispositivo de exibição para sinais referidos de cena; A Figura 8 mostra uma variação da concretização da Figura 7 em que os sinais referidos de cena incluem alguma intenção de renderização; e A Figura 9 mostra uma terceira concretização que envolve a conversão entre diferentes sinais referidos do dispositivo de exibição.

DESCRIÇÃO DE UMA CONCRETIZAÇÃO PREFERIDA DA INVENÇÃO

[0016] A invenção pode ser concretizada em um método de processamento de sinais de vídeo para converter entre sinais de vídeo apropriados para um dispositivo de exibição e sinais apropriados para um dispositivo de exibição alvo, dispositivos para realizar tais conversões, transmissores, receptores e sistemas envolvendo essa conversão.

[0017] Uma concretização da invenção será descrita em relação ao processamento que pode ser concretizada em um componente dentro de uma cadeia de transmissão. O componente pode ser referido como um conversor para facilidade de discussão, mas deve ser entendido como um módulo funcional que pode ser implementado em hardware ou software dentro de outro dispositivo ou como um componente autônomo. O conversor pode estar dentro do equipamento de produção, um transmissor ou um receptor, ou dentro de um dispositivo de exibição. As funções podem ser implementadas como uma tabela de pesquisa em 3D. Alguns antecedentes relacionados aos sinais de vídeo serão apresentados primeiro para facilidade de referência.

Sinais Referentes à Cena & Referentes ao Dispositivo de Exibição

[0018] A televisão de alta faixa dinâmica (HDR) oferece o potencial para distribuir um impacto muito maior do que a televisão de faixa dinâmica convencional ou padrão (SDR). Os padrões para sinais de televisão HDR são necessários para suportar o desenvolvimento e a interoperabilidade dos equipamentos e infraestrutura necessários para produzir e entregar HDR TV. Estão surgindo duas abordagens diferentes para a padronização do sinal HDR. Estes podem ser referidos como "referente à cena" e "referente ao dispositivo de exibição" e são descritos abaixo. É provável que filmes e vídeos sejam produzidos usando ambos os tipos de sinal. Apreciamos a necessidade de interconverter entre sinais como estes dois tipos de sinal. Esta divulgação descreve como realizar essas conversões, mantendo a qualidade da imagem e a intenção artística concretizada nos sinais. Além disso, com um tipo de sinal ("referente ao dispositivo de exibição "), o processamento também é necessário para converter entre os sinais destinados a serem exibidos em dispositivos de exibição com brilhos diferentes. Esta descrição também descreve agora como realizar conversões interdiferentes entre diferentes sinais "referentes ao dispositivo de exibição". A principal concretização descrita é para sinais HDR, mas as técnicas descritas também se aplicam a outros sinais que representam imagens em movimento.

[0019] Um sinal "referente à cena" representa a luminância relativa que seria capturada por uma câmera, que é a luz de uma cena. Tais sinais tipicamente codificam valores adimensionais (isto é, normalizados) no intervalo zero a um, onde zero representa preto e um representa o sinal mais brilhante que pode ser detectado sem a saturação do sensor da câmera. Este tipo de sinal é usado em sinais de televisão convencionais, por exemplo, conforme especificado na norma internacional ITU-R BT 709. Esses sinais podem ser apresentados em dispositivos de exibição com luminância de pico diferente. Por exemplo, o mesmo sinal pode ser mostrado em um dispositivo de exibição profissional (usada na produção do programa) com uma luminância máxima de 100 cd/ m2 ou uma TV de consumo com uma luminância máxima de 400 cd/ m2 visualizada em uma casa. Isto é suportado pelo padrão internacional ITU-R BT 1886. Ele define uma função de transferência eletro-óptica (EOTF), que especifica como o sinal é convertido em luz emitida (ou refletida) a partir de uma tela (ou tela). Na UIT-R BT 1886, a EOTF é parametrizada pela luminância de pico (e nível de preto) do dispositivo de exibição, permitindo a apresentação da imagem em dispositivos de exibição de brilhos diferentes. O sinal de digitalização do estoque de filmes fotoquímicos convencionais, ou de uma "câmera de filme" eletrônica também representa a luz de uma cena e, portanto, é "relacionada à cena". Recentemente, foi proposto um sinal de TV HDR "cenário" no BBC Research & Development White Paper WHP283. Sinais semelhantes foram propostos à International Telecommunications Union (ITU) para a padronização. Em resumo, um sinal "referente à cena" fornece luminância relativa e, portanto, é sem dimensão e representa a luz captada pelo sensor de imagem em uma câmera.

[0020] Um tipo diferente de sinal de imagem móvel, conhecido como "referente ao dispositivo de exibição", foi definido para filmes HDR, em SMPTE padrão ST 2084 em 2014, e também foi proposto à ITU para padronização. Este sinal representa a luz emitida de um dispositivo de exibição. Portanto, esse sinal representa um nível de luminância absoluto. Por exemplo, a luminância de um pixel em um local especificado no dispositivo de exibição pode ser codificada como 2000 cd/ m2. Em ST 2084, o alcance do sinal é zero a 10000 cd/ m2. Observe que, em um sinal referido de dispositivo de exibição, os valores têm dimensão cd/ m2 (ou equivalente), enquanto que em um sinal "referente à cena", os valores são relativos e, portanto, sem dimensão.

[0021] Apreciamos que a natureza absoluta, e não relativa, dos sinais referidos de dispositivo de exibição apresenta uma dificuldade, se o valor do sinal for mais brilhante do que a luminosidade do pico de um dispositivo de exibição. Por exemplo, considere um sinal preparado ou "classificado" em um dispositivo de exibição com uma luminância máxima de 4000 cd/ m2. Esse sinal provavelmente conterá valores próximos da luminância máxima do dispositivo de exibição, 4000 cd/ m2. Se você agora tentar exibir esse sinal em um dispositivo de exibição capaz de apenas 48 cd/ m2 (que é o brilho de uma imagem de cinema projetada), apreciamos o problema de exibir pixels que deveriam ser mostrados mais brilhantes do que o dispositivo de exibição pode gerenciar.

[0022] Uma maneira que foi utilizada até agora é mostrar pixels muito brilhantes para a exibição em sua luminância máxima. Isso é conhecido como "limitante" ou "recorte". No entanto, neste exemplo, a luminosidade especificada de muitos pixels será maior do que as capacidades do projetor de cinema, resultando em grandes regiões nas quais a imagem está gravemente distorcida. Claramente, o recorte não é sempre um método satisfatório de apresentação de um sinal de referência de exibição. Esta divulgação descreve como converter um sinal de exibição destinado a exibir com um brilho determinado para ser exibido com um brilho diferente, preservando a qualidade da imagem e a intenção artística.

[0023] Uma característica chave da exibição de imagens em movimento é "intenção de renderização". A necessidade de intenção de renderização é garantir que a aparência subjetiva das imagens seja próxima da aparência da cena real. Ingenuamente, alguém poderia pensar que a luminância de uma imagem deveria ser uma versão escalonada daquela capturada pela câmera. Para imagens fotográficas impressas, isso é aproximadamente correto; "Na maior parte da faixa de densidade, os pontos situam-se perto da linha reta da unidade gama [descrita mais tarde] passando pela origem" (Hunt, R.W.G., 2005. The Reproduction of Colour. ISBN 9780470024263, p55). Mas, para imagens exibidas em ambientes escuros (por exemplo, transparências projetadas, cinemas ou televisão), sabe-se que uma falta de linearidade geral entre câmera e exibição é necessária para produzir imagens subjetivamente aceitáveis (ver Hunt ibid, ou Poynton, C. & Funt, B., 2014. Uniformidade perceptiva na representação e exibição de imagem digital. Color Res. Appl., 39: 6-15). A intenção de renderização é, portanto, a não linearidade global aplicada entre a câmera e a exibição para que a aparência subjetiva da imagem corresponda melhor à cena real.

[0024] A intenção de renderização normalmente é implementada usando "curvas gama", ou aproximações, tanto na câmera como no dispositivo de exibição. Uma curva gama é simplesmente uma relação de lei de potência entre os valores do sinal e a luminância. Na câmera, a relação entre a intensidade relativa da luz, Lc (intervalo [0: 1]), detectada pela câmera, e os valores codificados no sinal, V (intervalo [0: 1]) podem ser aproximados por:

[0025] Da mesma forma, no dispositivo de exibição, a relação entre a luz emitida, Ld (intervalo [0: 1]), normalizada para o brilho de pico de dispositivo de exibição), e o valor do sinal V pode ser aproximado por:

[0026] Portanto:

[0001] A Figura 3 ilustra uma gama de exibição de CRT de 2,2 e uma "correção de gama" complementar aplicada na câmera (ou seja, outra curva de gama com um valor inverso de gama), que em conjunto implementam um sistema linear global.

[0027] Se em geral, o sistema de câmera/ dispositivo de exibição é linear, mas esse raramente é o caso na prática. Mais geralmente, de ponta a ponta, "sistema gama" é dado pelo produto de yc e yd.

[0028] Diferentes intenções de renderização são usadas para diferentes formas de reprodução de imagens. As transparências fotográficas projetadas utilizam uma gama de sistemas de cerca de 1,5. Os filmes tipicamente aplicam uma gama de sistemas de cerca de 1,56. Monitores de referência, utilizados na produção de televisão, aplicam uma gama de sistemas de cerca de 1,2. A gama de sistemas utilizada depende principalmente do brilho do dispositivo de exibição e da luminância de fundo em torno do dispositivo de exibição. Experimentalmente descobrimos que a gama de sistemas que fornece a melhor interpretação subjetiva de imagem pode ser aproximada por:

[0029] Onde Lpeak é a luminância de pico da imagem e Lsurround é a luminância que circunda o dispositivo de exibição. Em qualquer dado ambiente de visualização um valor mais preciso da gama de sistema pode ser determinado experimentalmente. Usando esses valores “personalizados” da gama de sistema, em lugar de fórmula genérica aproximada acima podemos aperfeiçoar a fidelidade da conversão de imagem descrita abaixo.

[0030] As curvas gama foram encontradas empiricamente para fornecer uma intenção de renderização que produz imagens de alta qualidade. No entanto, outras curvas moldadas semelhantes podem produzir uma qualidade subjetiva melhorada. As técnicas aqui descritas são descritas em termos de curvas gama. Mas as mesmas técnicas podem ser aplicadas com curvas com uma forma diferente.

[0031] As imagens em cores consistem em três componentes de cores diferentes, vermelho, verde e azul, o que afeta o modo como a intenção de renderização deve ser aplicada. Apreciamos que a aplicação de uma curva gama para cada componente distorce separadamente a cor. Isso distorce particularmente a saturação, mas também, em menor grau, a tonalidade. Por exemplo, suponhamos que os componentes vermelho, verde e azul de um pixel tenham valores (normalizados) de (0.25, 0.75, 0.25). Agora, se aplicamos uma gama de 2, isto é, quadrados dos valores dos componentes, obtemos (0,0625, 0,5625, 0,0625). Podemos observar dois resultados: o pixel ficou um pouco mais escuro e a proporção de verde para azul e vermelho aumentou (de 3: 1 para 9: 1), o que significa que um pixel verde ficou ainda mais verde. Em geral, não queremos distorcer as cores ao exibi-las, então essa abordagem não é ideal.

[0032] Ao invés de aplicar uma curva gama de forma independente a cada componente de cor, apreciamos que podemos aplicá-la apenas à luminância (vagamente o "brilho"). A luminância de um pixel é dada por uma soma ponderada dos componentes de cor; os pesos dependem das cores primárias e do ponto branco. Por exemplo, com HDTV, especificado na UIT-R BT 709, a luminância é dada por: Y = 0.2126 R + 0.7152 G + 0.0722B

[0033] ou, para a UHDTV mais recente, especificada na UIT-R BT 2020, a luminância é dada por: Y = 0.2627R + 0.6780G + 0.0593B em que Y representa luminância e R, G e B representam a composição de cores normalizadas, lineares (isto é, sem aplicação de correção de gama).

[0034] Ao aplicar uma curva gama, ou intenção de renderização, ao componente de luminância, só podemos evitar mudanças de cor no dispositivo de exibição.

Cadeia de Sinais de Imagem

[0001] A Figura 4 mostra uma cadeia conhecida de sinais referidos de cena. A Figura 4 mostra etapas de processamento na cadeia de sinais, mas também pode ser considerada um diagrama de blocos dos componentes funcionais. Em particular, as caixas retangulares na Figura 4 podem ser consideradas etapas de processamento ou como processadores programados para executar uma função ou como hardware dedicado organizado para executar essa função. As caixas arredondadas descrevem o significado dos sinais na cadeia de processamento. O mesmo se aplica às concretizações mostradas nas Figuras 5 a 9.

[0035] Conforme mostrado na Figura 4, o sinal luminoso (normalizado) da cena é primeiro capturado por uma câmera (física ou virtual). É então "codificado", aplicando uma função de transferência não-linear, opto-elétrica (OETF), que geralmente é uma aproximação de uma curva gama para SDR TV. O sinal, que representa dados de imagem referentes à cena, pode então ser combinado e processado para produzir um programa ou filme de televisão. Para ver o programa finalizado uma segunda não linearidade, a função de transferência eletro-óptica (EOTF), "decodifica" o sinal para gerar a luz apresentada no visor. O EOTF combina duas funções, primeiro inverte o OETF para regenerar o sinal de luz linear capturado pela câmera. Em seguida, aplica a intenção de renderização para que a imagem exibida seja subjetivamente correta. A combinação da OETF e da EOTF, aplicada em sequência, é a intenção de renderização e também é conhecida como função de transferência opto-óptica (OOTF).

[0036] Convencionalmente, a OETF é aplicada de forma independente aos três componentes de cores (embora, em princípio, possa ser, não separável, uma função conjunta deles). Isso permite que seja implementado de forma muito simples usando três tabelas de pesquisa 1 dimensional independentes (1D LUTs). Da mesma forma, a EOFT também, convencionalmente, foi implementada de forma independente nos três componentes de cores. Normalmente, a EOTF é implementada usando três conversores de digital para analógico (DACs) não lineares imediatamente antes do painel de exibição, o que equivale a usar 1D LUTs independentes. No entanto, como discutido acima, isso leva às mudanças de cor. Então, idealmente, a EOTF seria implementada como uma função combinada dos três componentes de cores. Isto é um pouco mais complexo que o uso de 1D LUTs, mas pode ser implementado em uma tabela de pesquisa tridimensional (3D LUT).

[0037] Apenas dois dentre a OETF, a EOTF e a OOTF são independentes. Na notação funcional:

[0038] Isso é mais fácil de ver, se usarmos o símbolo ® para representar a concatenação. Com essa notação, obtemos as três relações a seguir entre essas três não linearidades:

[0039] A cadeia de sinais referentes ao dispositivo de exibição parece superficialmente semelhante (e, portanto, não está ilustrada), mas o sinal corresponde a exibição de dados de imagem referidos. Uma diferença crucial é que a EOTF é fixa e não varia com o brilho do dispositivo de exibição, o nível de preto do dispositivo de exibição ou o ambiente de visualização (particularmente a luminância que circunda o dispositivo de exibição). A intenção de renderização, ou OOTF, deve variar de acordo com as características do dispositivo de exibição e o ambiente de visualização para produzir uma imagem subjetivamente aceitável. Portanto, para um sinal de referência de dispositivo de exibição, a OOTF e, portanto, a EOTF, devem depender do dispositivo de exibição específico em que o sinal deve ser apresentado e seu ambiente de visualização. Para um ambiente de visualização fixo, como visualizar filmes em um cinema, isso é possível. Para a televisão, onde o ambiente de exibição e visualização não é conhecido quando o programa é produzido, isso não é prático. Na prática, os sinais referentes ao dispositivo de exibição destinam-se a produzir programas não-visuais. A OETF é amplamente irrelevante, uma vez que a imagem é ajustada por um operador até parecer correta no dispositivo de exibição de "masterização".

Conversão de Sinais referentes à Cena em Sinais Referentes ao Dispositivo de Exibição

[0040] A Figura 5 mostra uma primeira concretização da invenção, proporcionando a conversão de um sinal referente à cena para um sinal referido ao dispositivo de exibição. Como lembrete, um sinal de referência de cena é aquele em que os valores de luminância são relativos e, portanto, sem dimensão. Consequentemente, para apresentar um sinal desse tipo em um monitor que espera um sinal referente ao dispositivo de exibição utilizando valores absolutos, é necessária uma conversão. O sinal independente de dispositivo de exibição recebido não depende de um dispositivo de exibição definido e, assim, poderia ser igualmente bem renderizado para qualquer dispositivo de exibição. Esses sinais incluem, por exemplo, sinais de fabricantes de câmeras proprietárias, como o S-Log da Sony, o Panalog da Panasonic e o log C. da Arri. Em uma primeira etapa, uma função inversa de transferência opto-elétrica é usada para reverter o efeito da OETF normalmente usado para produzir o sinal referido à cena. A saída desta etapa de processamento é um sinal de luz de cena. Importante, e não visto em disposições anteriores, uma função de transferência opto-óptica OOTF é aplicada na cadeia de conversão. A OOTF utilizada adequadamente na cadeia de processamento garante que a intenção de renderização do dispositivo de exibição alvo seja devidamente considerada na conversão. Isto aplica-se às concretizações das Figuras 5 e 6. Nas concretizações das Figuras 7 e 8, uma OOTF inversa é utilizada para ter devidamente em conta a intenção de renderização no sinal recebido.

[0041] .Assim, OETFs-1 é a OETF inversa para o sinal referido à cena, OOTF é a intenção de renderização desejada, discutida em mais detalhes abaixo, e EOTFd-1 é o inverso da EOTF do dispositivo de exibição.

[0042] O design da OOTF é descrito usando curvas gama, mas um procedimento semelhante pode ser usado para uma curva psicovisual alternativa para uma curva gama. A OETFs-1 regenera a luz linear da cena detectada pela câmera. Disso, podemos calcular a luminância de cena (normalizada) Ys, por exemplo, para UHDTV,

[0043] onde o subscrito s denota valores relativos à cena. Aplicamos a intenção de renderização à luminância da cena, por exemplo usando uma curva gama

[0044] Aqui, a gama apropriada pode ser calculada usando a fórmula genérica aproximada acima, ou de outra forma. No cálculo da gama, precisamos escolher um brilho de imagem de pico pretendido, Lpeak e a luminância que circunda o dispositivo de exibição, Lsuround. A luminância circundante pode ser medida por sensores no dispositivo de exibição ou de outra forma. Alternativamente, pode ser estimado com base no ambiente de visualização esperado ou padronizado ("referência"). Uma vez que conhecemos a luminância exibida, podemos calcular os componentes vermelho, verde e azul a serem apresentados no dispositivo de exibição para implementar a OOTF diretamente em cada componente RGB (Equação 1).

[0045] onde o subscrito d denota valores relativos ao dispositivo de exibição. Conforme mencionado acima, os dados referentes à cena são não dimensionados e normalizados para a faixa [0: 1], enquanto os dados referentes ao dispositivo de exibição têm dimensões cd/ m2. Para converter para os valores referidos de dispositivo de exibição, eles devem ser multiplicados ("dimensionados") pelo brilho da imagem de pico escolhido, Lpeak. Finalmente, os valores de luz linear calculados dessa maneira devem ser "codificados" usando o inverso de EOTF, EOTFd-1 referente ao dispositivo de exibição.

[0046] A conversão pode ser implementada de diversas maneiras. Os componentes individuais podem ser implementados usando tabelas de pesquisa e a escala como um multiplicador aritmético. OETF e EOTF podem ser implementadas usando 1D LUTs, mas a OOTF requer 3D LUT. Alternativamente, a conversão pode ser convenientemente implementada usando uma única 3D LUT que combina todos os componentes separados.

[0047] Como um resumo do acima, a concretização da invenção aplica uma função de transferência opto-óptica (OOTF) como uma etapa na cadeia de processamento para fornecer adequadamente a intenção de renderização do dispositivo de exibição alvo. Além disso, uma etapa de escala é fornecida para converter entre valores normalizados e valores absolutos. Uma característica particular da concretização é que a OOTF não altera a cor, mais especificamente não altera a tonalidade ou a saturação, e isso pode ser conseguido através da conversão de sinais de RGB para um componente de luminância separado contra o qual a gama é fornecida. De preferência, a OOTF é fornecida diretamente nos componentes RGB de tal forma que os valores relativos dos componentes RGB não mudam de modo que a cor não seja alterada. Com efeito, isso aplica a OOTF diretamente aos componentes RGB de modo a alterar a luminância geral, mas não a cor.

[0048] A Figura 6 mostra uma variação da conversão dos sinais referidos da cena para os sinais referentes ao dispositivo de exibição em que o sinal referente à cena tem alguma intenção de renderização inerente ao sinal, apesar de ter valores relativos, em vez de valores absolutos.

[0049] Alguns sinais possuem características de ambos os sinais referentes à cena e ao dispositivo de exibição. Este documento refere-se a tais sinais como sinais referentes de "quase" cena. Estes incluem sinais SDR convencionais. Para tais sinais, um método alternativo de conversão pode produzir resultados de maior qualidade.

[0050] Para sinais SDR convencionais, a intenção de renderização é padronizada e não varia com o brilho do dispositivo de exibição. Isso implica que o sinal possui alguma dependência do brilho do dispositivo de exibição e do ambiente de visualização. A intenção de renderização será apropriada desde que a luminância do pico de exibição seja constante em relação à luminância circundante e haja algum grau de latitude nesta proporção. Na prática, para os sinais SDR, as condições para a intenção de renderização serem substancialmente corretas são geralmente atendidas, mesmo que o brilho dos dispositivos de exibição possa variar substancialmente.

[0051] Quando é necessária a conversão de maior qualidade de um sinal referido de quase-cena para um sinal referente ao dispositivo de exibição, pode ser preferível derivar a luz de cena linear da luz pretendida para ser exibida em um dispositivo de exibição de "referência". Isso levaria em consideração a intenção de renderização aplicada ao sinal referido da cena. Essa abordagem também pode ser benéfica para alguns sinais referentes a cena HDR, como o proposto em BBC White Paper 283, que possui características semelhantes aos sinais SDR convencionais.

[0052] A diferença na técnica de conversão, mostrada na Figura 6, é apenas em como a luz de cena linear é derivada do sinal de entrada. Como antes, os retângulos mostram etapas de processamento, enquanto as caixas arredondadas descrevem o significado dos valores dentro da cadeia de processamento. O sinal "Light Scene" é um sinal de luz linear (normalizado) que seria capturado por uma câmera, e "Display Light" é o valor da intensidade da luz linear que se pretende apresentar no dispositivo de exibição.

[0053] Aqui, as intenções de renderização, ou OOTFs, são distinguidas por subscritos. O subscrito "d" indica uma OOTF usada para criar o sinal referido do dispositivo de exibição. O subscrito "r" indica a OOTF de referência. Essa é a OOTF que seria usada, se o sinal tivesse que ser renderizado em um dispositivo de exibição de "referência". OOTFr-1 representa o inverso da OOTFr, de referência OOTFr, isto é, "desfaz" OOTFr.

[0054] O primeiro bloco funcional na cadeia de processamento, EOTFr, aplica a não linearidade especificada a um monitor de referência (dispositivo de exibição). Isso gera os componentes de luz linear que seriam apresentados em um monitor de referência. Isso é: onde Rr, Gr, e Br são os componentes de luz linear em um monitor de referência (virtual). Rs', Gs', e Bs' são os sinais não-lineares (com correção de gama) quase scene referenciados. Observe que todos os sinais são normalizados para a faixa [0: 1]. Observe também que essas equações supõem que a EOTF é aplicada de forma independente a todos os componentes de cores (por exemplo, implementados com 1D LUT), o que geralmente é o caso, mas não é necessário realizar a conversão. Considere, por exemplo, um sinal de televisão UHD para o qual a EOTF é (presumivelmente) especificada por ITU-R BT 1886, que pode ser aproximada por uma curva gama com um expoente de 2,4. Neste exemplo, EOTFr(x)=x2.4, de modo que:

[0055] Uma vez que os componentes de luz linear são conhecidos, podemos calcular a luminância de referência, Yr, como indicado acima.

[0056] Para desfazer o sistema gama implicado (isto é, implementar OOTFr-1), consideramos primeiro que: onde Rs, Gs, Bs e Ys são os componentes de luz linear da cena (que são o que somos depois). Supondo que a intenção de renderização é uma curva gama (e supondo um deslocamento zero preto), então temos

[0057] Isso implica em uma implementação da OOTF inversa (Equação 2)

[0058] Com a UHDTV, por exemplo, que é a faixa dinâmica padrão (SDR), sabemos que o sistema gama é 1.2 (veja, por exemplo, EBU - TECH 3321, diretrizes da EBU para dispositivos de exibição de painel plano do consumidor (Consumer Flat Panel Displays (FPDs)); Anexo A, 2007).

[0059] Portanto, agora temos valores explícitos para os componentes de luz linear correspondentes à cena ("Light Scene"). Estes podem ser usados, visto que estavam em relação à conversão referente à cena para referentes ao dispositivo de exibição, para gerar um sinal referente ao dispositivo de exibição.

Conversão de Sinais Referentes aos Dispositivos de Exibição para Sinais Referentes à Cena

[0060] A Figura 7 mostra a conversão dos sinais referentes aos dispositivos de exibição para os sinais referentes à cena. Isso, comumente, mas não exclusivamente, ocorre na conversão de um sinal destinado ao dispositivo de exibição no ambiente de visualização fixo de um cinema para um formato destinado à televisão, sem um ambiente de visualização fixo.

[0061] Aqui, a luz linear que se pretende apresentar em um dispositivo de exibição, "Display Light" é gerada primeiro usando a EOTFd de dispositivo de exibição Isso gera valores com unidades de cd/ m2. A luz do dispositivo de exibição é dividida pelo valor de pico da luz do dispositivo de exibição para produzir um valor normalizado sem dimensões. Em seguida, a intenção de renderização (OOTFd), que foi aplicada para garantir que as imagens parecessem ser subjetivamente corretas, é desfeita aplicando o inverso da intenção de renderização (OOTFd-1). Isso gera um sinal normalizado que representa a luz (linear) que teria sido detectada por uma câmera que visualizava a cena real ("Light Scene"). Finalmente, a luz de cena linear é codificada usando a OETFr do sinal referente a cena.

[0062] O valor de pico da luz de dispositivo de exibição pode ser fornecido como uma entrada para o processo de conversão, ou pode ser determinado pela análise do próprio sinal. Como o valor de pico a ser exibido pode mudar de quadro para quadro, é mais difícil estimar o valor de pico de uma sequência de imagem ao vivo (por exemplo, de um evento esportivo ao vivo) quando o sinal completo ainda não está disponível. Note-se que, ao converter de um sinal referido da cena para um sinal de dispositivo de exibição, o valor do sinal de pico deve ser escolhido. Neste caso inverso, a conversão de um sinal referente ao dispositivo de exibição para um sinal referente à cena, essa mesma parte da informação, valor de sinal de pico, deve ser fornecida ou estimada.

[0063] Inverter o OOTFd é o mesmo processo que é usado na inversão da OOTF, ao converter os sinais referentes à quase cena para os sinais referentes ao dispositivo de exibição acima.

[0064] A Figura 8 mostra uma variação da conversão dos sinais referentes ao dispositivo de exibição para os sinais referentes à cena. Às vezes, pode ser desejável converter um sinal referente ao dispositivo de exibição para um sinal de quase cena, como descrito no BBC White Paper 283.

[0065] Nesta conversão, o processamento na cadeia de sinais antes da "Luz da cena" é o mesmo que no método dois, mas a codificação da "Luz da cena" para gerar o sinal da quase cena é diferente. Para codificar "Scene Light", primeiro aplicamos a referência OOTFr. Isso pode ser aplicar uma curva gama ao componente de luminância da luz de cena linear Ys, ou seja:

[0066] Os componentes individuais da cor são dados, então, por (Equação 3)

[0067] A codificação de “scene light” é completada através da aplicação de EOTFr (por exemplo, ITU-R BT 1886).

Conversão entre Diferentes Sinais referentes aos Dispositivos de Exibição

[0068] A Figura 9 mostra a conversão de um sinal referente ao dispositivo de exibição (para um dispositivo de exibição alvo para outro sinal de dispositivo de exibição referido (para um dispositivo de exibição diferente).

[0069] Os sinais referentes ao dispositivo de exibição diferem no nível máximo de sinal que possuem. Cada sinal refere-se a um dispositivo de exibição específica (daí “dispositivo de exibição referido"). O sinal está incompleto sem conhecimento do dispositivo de exibição, especialmente seu nível de pico e o nível de luminância em torno do dispositivo de exibição (porque esses valores determinam como as imagens devem ser renderizadas para obter alta qualidade subjetiva). Estes dados podem ser transmitidos com o sinal como metadados, ou o nível do pico do sinal pode ser medido ou estimado a partir do próprio sinal e a luminância aparente medida ou deduzida de documentos padronizados ou do conhecimento da prática de produção atual. O SMPTE ST 2084 fornece dois “Reference Viewing Environments” no Anexo B, para HDTV e Cinema Digital. O ambiente HDTV tem "uma luminância de fundo de 8 a 12 cd/ m2". O ambiente do Cinema Digital indica apenas o nível de luz refletida na tela e, diretamente, indica a iluminação de fundo, que deve ser estimada.

[0070] Um sinal referente ao dispositivo de exibição pode, portanto, ser considerado um "recipiente" para sinais produzidos (ou "masterizados") em dispositivos de exibição com diferentes ambientes de brilho e visualização.

[0071] Uma vez que diferentes sinais referentes ao dispositivo de exibição podem se relacionar com diferentes monitores de "masterização", é necessário converter entre eles. Além disso, essa conversão indica implicitamente como um sinal, masterizado em um brilho de pico e iluminação circundante, talvez seja reproduzido com um brilho de pico e iluminação circundante diferentes. Portanto, esta técnica, para conversão entre sinais de referência de exibição, também pode ser usada para renderizar um sinal destinado a um dispositivo de exibição, em uma tela diferente, em alta qualidade. Por exemplo, um programa ou filme pode ser masterizado em um dispositivo de exibição brilhante que suporta uma luminância de pico de 4000 cd/ m2 (por exemplo, um dispositivo de exibição Dolby "Pulsar"), mas pode desejar ser exibido em um monitor dimmer, p.ex. uma tela OLED (talvez 1000 cd/ m2) ou uma tela de cinema (48 cd/ m2). Antes desta divulgação, não foi sugerido nenhum método automático (algorítmico) satisfatório para alcançar essa conversão/ renderização. Em vez disso, os proponentes do SMPTE ST 2084 sugerem que o programa ou filme seja regraduado manualmente (isto é, ajustado) para fornecer uma experiência subjetiva satisfatória. Claramente, um método automático para realizar esta conversão potencialmente oferece benefícios significativos em termos de fluxo de trabalho de custo e de produção simplificados.

[0072] Essa conversão pode ser implementada concatenando o processamento antes da “Scene Light” da conversão referente ao dispositivo de exibição para o referente a cena descrita acima (ou seja, uma primeira EOTFd1, em cascata com um primeiro fator de escala e uma primeira OOTFd1-1), inversa, com o processamento após "Scene Light" da conversão referente à cena para referente ao dispositivo de exibição (ou seja, uma segunda OOTFd2,, em cascata com um segundo fator de escala e uma segunda EOTFd2-1 inversa). Observe que o valor de sinal de pico para o sinal 1 referente ao dispositivo de exibição é necessário para normalizar o sinal ("Escala 1"). Também é necessário, juntamente com a iluminação de fundo, calcular OOTFd1, que pode ser uma curva gama com a gama determinada como acima. Observe que o valor do sinal de pico e a iluminação de fundo também são necessários para o dispositivo de exibição 2. O sinal de pico 2 é usado para multiplicar ("escala 2") o sinal normalizado para produzir um sinal absoluto (linear) com a magnitude e dimensões corretas cd/ m2 (e com iluminação de fundo para calcular um segundo valor de gama). Através da seleção apropriada desses valores de sinal de pico e iluminação de fundo, o sinal pode ser convertido entre diferentes sinais de dispositivo de exibição ou renderizado para exibição em um dispositivo de exibição diferente do usado para produção ("masterização").

Conversão entre Sinais referentes à Cena e Sinais referentes à Quase Cena

[0073] Para maior completude, descreveremos a conversão entre os sinais referentes à cena e os sinais referentes à quase cena conhecidos. Embora estas não sejam as principais concretizações da invenção, são realizadas etapas semelhantes.

[0074] As seções acima consideram 3 tipos de sinal: um sinal de cena referido (por exemplo, uma curva de resposta da câmera proprietária, como o S-Log da Sony), um sinal quase conhecido de cena (por exemplo, ITU-R BT 709, que usa o ITU-R BT 1886 como uma EOTF de referência), ou um sinal referente ao dispositivo de exibição (por exemplo, SMPTE ST 2084). Com três tipos de sinais, são possíveis 9 tipos de conversão e apenas 4 conversões são descritas acima. As conversões remanescentes são entre os sinais referidos de cena e os sinais referentes de quase cena, que também podem ser úteis. Essas conversões podem ser implementadas permutando o processamento antes e depois de "Scene Light" nos métodos acima.

[0075] Conversão de um sinal de referência de cena para um sinal referido de quase-cena: Essa conversão pode ser implementada concatenando o processamento antes da "Scene Light" na Figura 5 (ou seja, OETFs-1), com o processamento após "Scene Light" na Figura 8 (ou seja, OOTFr em cascata com EOTFr-1).

[0076] Conversão de um sinal referente à quase cena para um sinal de cena: Esta conversão pode ser implementada concatenando o processamento antes de "Scene Light" na Figura 6 (ou seja, EOTFr em cascata com OOTFr-1), com o processamento após "Scene Light" na Figura 7 (ou seja, OETFs).

[0077] Conversão de um sinal referente à quase cena para um sinal referente à quase cena diferente: Essa conversão pode ser implementada concatenando o processamento antes da "Scene Light" na Figura 6 (ou seja, uma primeira EOTFr em cascata com uma primeira OOTFr-1 ), com o processamento após "Scene Light" na Figura 8 (ou seja, uma segunda OOTFr em cascata com uma segunda EOTFr-1).

[0078] Conversão de um sinal referente à cena para um sinal referente à cena diferente: Essa conversão pode ser implementada concatenando o processamento antes da "Scene Light" na Figura 5 (ou seja, uma primeira OETFs-1), com o processamento após "Scene Light" na Figura 7 (ou seja, uma segunda OETFs). Esta técnica de conversão é bem conhecida na técnica atual.

Claims (21)

1. Método para renderização de um sinal de vídeo de entrada destinado a uma primeira exibição para produzir um sinal de vídeo de saída apropriado para uma segunda exibição, o método caracterizado pelo fato de que compreende converter o sinal de vídeo de entrada para o sinal de saída de vídeo de saída utilizando uma ou mais funções de transferência dispostas de modo a: remover a intenção de renderização do sinal de vídeo de entrada, em que a intenção de renderização depende de um valor de luz de exibição de pico para a primeira tela e um nível de luminância circundante para a primeira tela, em que a remoção da intenção de renderização do sinal de vídeo de entrada fornece valores de luz de cena relativos, e/ou fornecer valores de luz de cena relativos e aplicar intenção de renderização do sinal de vídeo de saída, em que a intenção de renderização depende de um valor de luz de exibição de pico para a segunda exibição e um nível de luminância circundante para a segunda exibição; em que a remoção e/ou aplicação de tentativa de renderização altera a luminância; e em que a remoção e/ou aplicação de tentativa de renderização é aplicada como uma função de valores RGB de entrada de acordo com qualquer um de:

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a remoção e/ou aplicação da intenção de renderização é aplicada a um componente de luminância.

3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a remoção e/ou a aplicação de tentativa de renderização é aplicada aos componentes RGB, sem alterar os valores relativos de tal modo que a cor não é alterada.

4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende a remoção e/ou aplicação de tentativa de renderização altera luminância de tal modo que a cor não é alterada.

5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que pelo menos um dos sinais de entrada ou de saída é um referido sinal de exibição e a tentativa de renderização é a tentativa de renderização do referido sinal de exibição.

6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o sinal de saída é um referido sinal de exibição e tentativa de renderização da aplicação compreende uma função de transferência opto-óptica para fornecer a tentativa de renderização para o referido sinal de exibição.

7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a entrada é um referido sinal de exibição e a remoção da tentativa de renderização compreende uma função de transferência opto-óptica inversa para remover a tentativa de renderização do referido sinal de exibição.

8. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que uma ou mais funções de transferência são fornecidas em uma LUT tridimensional tendo valores para fornecer a conversão.

9. Conversor para o processamento de um sinal de vídeo de entrada destinado a uma primeira exibição para produzir um sinal de saída apropriado para uma segunda exposição, caracterizado pelo fato de que compreende uma ou mais funções de transferência dispostas de modo a: fornecer valores de luz cena relativos; e remover a intenção de renderização do sinal de vídeo de entrada, em que a intenção de renderização depende de um valor de luz de exibição de pico para a primeira tela e um nível de luminância circundante para a primeira tela e/ou aplicar a intenção de renderização do sinal de vídeo de saída, em que a intenção de renderização depende de um valor de luz de exibição de pico para a segunda exibição e um nível de luminância circundante para a segunda exibição; em que a remoção e / ou aplicação de tentativa de renderização altera a luminância e é aplicada em função dos valores RGB de entrada de acordo com qualquer um dos seguintes:

10. Conversor, de acordo com a reivindicação 9, caracterizado pelo fato de que a remoção e/ou aplicação de tentativa de renderização é aplicada a um componente de luminância.

11. Conversor, de acordo com a reivindicação 9, caracterizado pelo fato de que a remoção e/ou aplicação da tentativa de renderização é aplicada aos componentes RGB, sem alterar os valores relativos de tal modo que a cor não é alterada.

12. Conversor, de acordo com a reivindicação 9, caracterizado pelo fato de que compreende ainda meios para escalonar para converter entre uma faixa absoluta e uma faixa relativa.

13. Conversor, de acordo com a reivindicação 9, caracterizado pelo fato de que pelo menos um dos sinais de entrada ou de saída é um referido sinal de exibição e a tentativa de renderização é a tentativa de renderização do referido sinal de exibição.

14. Conversor, de acordo com a reivindicação 13, caracterizado pelo fato de que o sinal de saída é um referido sinal de exibição e o a remoção ou tentativa de renderização da aplicação é uma função de transferência opto-óptica para fornecer a tentativa de renderização para o referido sinal de exibição.

15. Conversor, de acordo com a reivindicação 13, caracterizado pelo fato de que a entrada é um referido sinal de exibição e a remoção ou aplicação da tentativa de renderização é uma função de transferência opto-óptica inversa para remover ou aplicar a tentativa de renderização do referido sinal de exibição.

16. Conversor, de acordo com a reivindicação 9, caracterizado pelo fato de que uma ou mais funções de transferência são fornecidas por uma tabela de pesquisa (LUT) tridimensional (3D) tendo valores para fornecer a conversão.

17. Dispositivo caracterizado pelo fato de que compreende o conversor, conforme definido na reivindicação 9.

18. Receptor, decodificador digital ou exibição caracterizado pelo fato de que compreende o conversor, conforme definido na reivindicação 9.

19. Sistema caracterizado pelo fato de que compreende o conversor, conforme definido na reivindicação 9.

20. Aparelho caracterizado pelo fato de que de ser parte de uma cadeia de estúdio compreendendo meios dispostos para realizar o método, conforme definido na reivindicação 1.

21. Transmissor caracterizado pelo fato de que de compreende o conversor, conforme definido na reivindicação 9.