BRPI0720531A2

BRPI0720531A2 - Método e sistema para codificar um sinal de imagem, sinal de imagem, método para decodificar um sinal de imagem, e, decodificador para decodificar um sinal de imagem

Info

Publication number: BRPI0720531A2
Application number: BRPI0720531-7A
Authority: BR
Inventors: Fei Zuo; Stijn De Waele
Original assignee: Koninkl Philips Electronics Nv
Priority date: 2006-12-19
Filing date: 2007-12-12
Publication date: 2014-01-07
Also published as: JP2010514315A; US20100074328A1; WO2008075256A3; MX2009006405A; TW200838314A; WO2008075256A2; CN101682758A

Description

“MÉTODO E SISTEMA PARA CODIFICAR UM SINAL DE IMAGEM, SINAL DE IMAGEM, MÉTODO PARA DECODIFICAR UM SINAL DE IMAGEM, E, DECODIFICADOR PARA DECODIFICAR UM SINAL DE IMAGEM”

CAMPO DA INVENÇÃO

A invenção refere-se a um método e um sistema para codificar um sinal de imagem, método e sistema nos quais é aplicada redução de artefato.

A invenção também se refere a um método e um sistema para decodificar um sinal de imagem.

A invenção também se refere a um sinal de imagem. DESCRIÇÃO DA TÉCNICA ANTERIOR

Na codificação do sinal de imagem ocorrem artefatos. Um tipo de artefato frequentemente ocorre na codificação de áreas de transição gradual suave dentro de uma imagem. Esses artefatos se mostram como capacidade de bloqueio, distorção de cor, e efeito de vibração durante a evolução temporal. Esses artefatos são causados principalmente pela quantização durante a codificação e outra perda de informação durante o procedimento de codificação e é mais visível e incômodo quanto mais texturizadas as áreas.

Uma possível solução para o problema acima é usar a quantização adaptativa, que aloca mais bits (usando pequena QP) para as áreas mais suaves e menos bits nas áreas mais texturizadas. Entretanto, experimentos com o codec do estado da técnica FFMPEG não dão resultados satisfatórios, com artefatos ainda bem visíveis mesmo em QPs baixas. Usar QPs baixas nas áreas de transição gradual suave também aloca uma quantidade desproporcional de bits disponíveis para as áreas que, na verdade, são relativamente simples no conteúdo de imagem. Em algumas circunstâncias, por exemplo, quando somente uma quantidade limitada de espaço de dados está disponível, isso se tomará um problema. Outra possível solução é usar pós-filtragem pura aplicando-se um filtro de desbloqueio e/ou suavização às imagens decodificadas. Entretanto, experimentos nos quais foi feito o uso de filtros de desbloqueio já em circuito mostraram que os artefatos não foram removidos, provavelmente 5 devido à grande extensão das áreas de transição gradual. Além disso, geralmente é difícil aplicar um pós-filtro desse tipo por causa do seguinte:

1. É difícil determinar completamente, no lado de decodificador, onde aplicar a pós-filtragem. Visto que as áreas de transição gradual codificadas já estão distorcidas (não mais suavizadas), é muito difícil

saber se o quadro original está suavizado ou não.

2. A pós-filtragem exige a seleção dos parâmetros de filtro corretos (tamanho de orifício etc) para impedir a sobre- ou sub-filtragem. O tipo dos filtros a usar é determinado por muitos fatores, como a extensão da área e a intensidade dos artefatos, que podem ser influenciadas pelos

parâmetros de codificação, como os parâmetros de quantização. Entretanto, os inventores verificaram que mesmo a sintonia manual dos parâmetros pode não conduzir aos resultados desejados. Além disso, esse tipo de filtragem dificilmente pode remover os artefatos temporais que ocorrem nas áreas de transição gradual.

SUMÁRIO DA INVENÇÃO

É um objetivo prover um método e um sistema para codificar um sinal, um sinal de imagem codificado e um método e um sistema para decodificar um sinal de imagem codificado que possa, entre outras coisas, ser usado para produzir imagens de melhor qualidade para uma quantidade de

compressão (em particular, nas regiões graduais como o céu), e, além disso, permitir a outros aplicativos funcionarem melhor.

O método de codificar é caracterizado pelo fato de que, de um primeiro quadro de imagem, são identificadas uma ou mais áreas de transição gradual, em um segundo quadro de imagem derivado a partir do primeiro quadro de imagem são identificadas uma ou mais áreas de transição gradual correspondentes, estabelecendo parâmetros funcionais descrevendo o conteúdo de dados das uma ou mais áreas de transição gradual e estabelecendo dados de posição para as posições das uma ou mais áreas 5 correspondentes na segunda imagem relacionada.

O método faz uso do conhecimento de codificador acerca das áreas de transição gradual. Na invenção, durante a codificação para o primeiro quadro de imagem, as áreas de transição gradual são identificadas. As áreas correspondentes no segundo quadro de imagem correspondente também são 10 identificadas. Parâmetros funcionais, por exemplo, os parâmetros de uma função spline para o conteúdo de dados na primeira imagem, são gerados. Isso permite caracterizar o conteúdo de imagem das áreas de transição gradual com uma quantidade relativamente pequena de bits. Visto que as posições das áreas correspondentes no segundo quadro de imagem, derivado, também são 15 identificadas, é possível construir com um alto nível de precisão as áreas de transição gradual nas posições corretas do segundo quadro de imagem, derivado. A construção não sofre com os erros de imagem típicos para a codificação/decodificação.

Durante a derivação do segundo quadro a partir do primeiro quadro, são gerados artefatos. A derivação pode ser, por exemplo, codificação e/ou decodificação, um quadro codificado e/ou decodificado sendo derivado a partir de um quadro original.

Esses artefatos são, como explicado acima, difíceis de corrigir. A invenção provê uma solução simples que não exige muitos dados adicionais.

A construção no lado de decodificador introduzirá alguns erros, basicamente erros de suavização, e, possivelmente, alguns erros de localização, mas removerá quaisquer erros devidos ao processo de derivação (codificação/decodificação, quantização etc) ou permitirá aperfeiçoar a imagem. Foi verificado pelos inventores que as vantagens sobrepujam as desvantagens para as áreas de transição gradual.

E observado que a segmentação ou detecção de área específica somente em um lado de decodificador é conhecida. Entretanto, essa 5 segmentação autônoma não resolverá o problema, visto que a imagem codificada já está distorcida e a imagem original não está disponível. Também é conhecido tentar adaptar os parâmetros de codificação, por exemplo, usando-se a quantização adaptativa, dependendo do conteúdo de pixel. Esse procedimento, entretanto, mesmo se as áreas forem definidas e os parâmetros 10 de codificação correspondentes forem gerados, não provê as possibilidades e vantagens da presente invenção. De fato, como explicado acima, o modo padrão de tratar as áreas de transição gradual dessa maneira ainda deixa os artefatos bem visíveis, enquanto ainda aumentando substancialmente a quantidade de dados necessários, visto que é usada uma baixa QP.

Os parâmetros funcionais reunidos permitem preencher as

áreas de transição gradual correspondentes na imagem derivada com uma representação funcional dos dados na imagem original ou uma imagem aperfeiçoada.

Os dados de posição provêem informação da controle para identificar as áreas de transição gradual a serem construídas.

O método e o sistema de codificar oferece a seguinte

vantagem:

O método faz uso do conhecimento de codificador acerca de ambos os quadros de imagem, o original e o derivado. A informação de 25 controle pode ser, opcionalmente, selecionada otimamente para dar a melhor identificação e pós-processamento da área de transição gradual. Isso dá uma vantagem importante sobre fazer pós-processamento somente no quadro de imagem derivado.

Em um primeiro modo de realização, o quadro de imagem derivado é um quadro decodificado e o primeiro quadro é um quadro original. O método compreende uma etapa de codificação e decodificação para prover um quadro decodificado derivado a partir do quadro original; o sistema compreende um codificador e um decodificador para codificar o quadro 5 original em um quadro codificado e prover um quadro decodificado a partir do quadro codificado.

A invenção permite uma forte redução dos erros de codificação/decodificação nas áreas de transição gradual. De fato, é gerada informação para substituir, no lado de decodificador, uma ou mais áreas de 10 transição gradual identificadas no quadro de imagem decodificado com dados derivados a partir da informação. Nos modos de realização, o quadro decodificado e o quadro codificado são usados fora do próprio circuito de codificador.

Em outros modos de realização, o quadro decodificado é 15 decodificado dentro do circuito de codificador. Os codificadores compreendem um ou mais circuitos de codificador, onde, dentro do circuito, um quadro decodificado é gerado e os quadros decodificados são usados para aperfeiçoar a codificação. Dentro de um circuito de decodificador, os quadros são decodificados por várias razões em vários métodos. Uma das razões é 20 gerar quadros B ou P a partir de quadros I. Usando o método, é possível aperfeiçoar a qualidade do quadro decodificado usado dentro do circuito de codificador. Isso terá um efeito benéfico sobre quaisquer etapas de método realizadas dentro do circuito de codificador com o mencionado quadro decodificado.

De preferência, no método e no sistema de decodificação, um

ou mais limiares são usados para a identificação das áreas de transição gradual.

Os inventores verificaram que a invenção é mais útil para áreas de transição gradual que têm um tamanho substancial. Neste modo de realização, somente áreas com tamanho suficientemente grande, acima de um limiar de tamanho, são selecionadas como áreas de transição gradual. As áreas menores não são usadas neste modo de realização da invenção. De preferência, o limiar de tamanho depende da quantização usada durante a 5 codificação-decodificação, onde o tamanho de limiar aumenta à medida que a quantização se toma mais grosseira. O tamanho do limiar aumenta à medida que a falta de refinamento da quantização aumenta. À medida que a quantização aumenta, a distância entre as bordas de bloco visíveis aumenta.

De preferência, um algoritmo de inundação é usado. Um 10 algoritmo de inundação é um algoritmo no qual é feito um início a partir de um pixel de grão, isto é, o grão da área, os pixéis adjacentes são definidos para pertencer à mesma área de transição gradual se a diferença em um dos, ou, em uma combinação de dados de característica não exceder um limiar. De preferência, o limiar de inundação depende do casamento entre a reconstrução 15 da área de transição gradual na segunda imagem e a área de transição gradual original. Tipicamente, o limiar aumenta à medida que a falta de refinamento da quantização aumenta.

Em um modo de realização simples, os dados de característica são os da luminância e o limiar é, por exemplo, um valor de 3 na luminância. Em modos de realização mais sofisticados, uma combinação dos dados de luminância e dos dados de cor e um limiar multidimensional podem ser tomados.

Em ainda outros modos de realização, independente do uso de um algoritmo de inundação, onde o quadro de imagem compreende 25 informação de 3D, o assim chamado mapa de profundidade em z, os dados de característica podem ser usados para encontrar as áreas de transição gradual dentro do mapa de profundidade. O mapa de profundidade está, durante a codificação e a decodificação, ou, quando um quadro intercodificado é feito a partir de um quadro intercodificado, sujeito a desbloqueio ou outros erros. Esses erros conduzem a estranhos efeitos de 3D, onde, em uma área de transição gradual, a profundidade visível salta de um valor para outro. A invenção permite reduzir fortemente esse efeito.

O uso de um algoritmo de inundação permite usar um 5 algoritmo de segmentação que seja mais adequado para identificar as áreas de transição gradual. A informação de controle pode ser descrita de um modo muito conciso e também pode ser facilmente otimizada para a imagem derivada. A identificação dos pixéis de grão e dos parâmetros para o algoritmo de inundação permite reconstruir as áreas de transição gradual.

Permite usar, para a informação de controle somente, poucos bits, o que é mais vantajoso que transmitir (ou armazenar) uma descrição completa da área (por exemplo, fronteira, mapa de máscara).

DESCRIÇÃO RESUMIDA DOS DESENHOS

Esses e outros aspectos vantajosos da invenção serão descritos

em maior detalhe usando as figuras a seguir.

A fig. 1 mostra o fluxo de processamento de um método de pós-processamento, incluindo um método para codificar e decodificar de acordo com um modo de realização da invenção;

As figs. 2 e 3 ilustram erros de imagem usando técnicas

conhecidas;

As figs. 4, 5 e 6 ilustram um modo de realização da invenção;

A fig. 7 ilustra um segundo modo de realização da invenção;

A fig. 8 ilustra um modo de realização adicional da invenção;

A fig. 9 ilustra um modo de realização adicional da invenção;

A fig. 10 ilustra ainda um modo de realização adicional da

invenção;

As figuras não estão desenhadas em escala. Geralmente, componentes idênticos são assinalados pelos mesmos números de referência nas figuras. DESCRIÇÃO DETALHADA DOS MODOS DE REALIZAÇÃO PREFERIDOS

A fig. 1 mostra um fluxo de processamento de um modo de realização da nossa invenção usado como um método de pós-processamento. Isso é ilustrado no que segue:

Lado de codificador:

1. Codificar o quadro F e obter seu quadro decodificado F’ correspondente.

2. Detecção das áreas de transição gradual no quadro F. O quadro F é, então, o primeiro quadro de imagem, o quadro F’ é o quadro de imagem derivado.

Para o quadro F, primeiro, se marcam todos os pixéis como não-processados. Escaneia-se o quadro F na ordem da esquerda para a direita e do topo para o fundo. Se o pixel na localização (xs, ys) for não-processado, é selecionado como um grão, e aplica-se um algoritmo de inundação. O algoritmo inicia a partir do grão selecionado e desenvolve a área, enquanto a diferença de luminância entre pixéis adjacentes não exceder um limiar T predefinido. Esse limiar pode ser estabelecido como um número pequeno (por exemplo, 3). Isso é porque as áreas de transição gradual no quadro original têm as características de que os pixéis vizinhos nessas áreas têm valores de luminância muito semelhantes (embora a área inteira possa ter uma distribuição ampla de valores de luminância). Marca-se cada pixel na área como processado e rotula-se a área como R. Desse modo, no primeiro quadro de imagem, as áreas de transição gradual são identificadas. Esse processo continuará até que todos os pixéis a partir do quadro F sejam processados. Para todas as áreas rotuladas, de preferência, somente aquelas com tamanho grande o suficiente (por exemplo, acima de um limiar de tamanho) são selecionadas como áreas candidatas para pós-processamento. Isso atinge um limiar na identificação das áreas de transição gradual no quadro original F. Na figura, isso é indicado pela segmentação de bloco. 3. Análise de área com base tanto em F quanto em F\

Para cada área rotulada R no quadro F, iniciando a partir do mesmo grão (xs, ys), realiza-se um algoritmo de inundação para segmentar a área R’ correspondente no quadro F\ Visto que o quadro F’ já está distorcido com possíveis artefatos fortes, não é possível usar o mesmo limiar T usado no quadro F para segmentar a mesma área. Portanto, usamos a estratégia a seguir para encontrar um T’ ótimo para segmentar a mesma área a partir do quadro F’.

Estabelecer T’ = T.

Repetir

{

Usar inundação para segmentar a área pelo limiar T’ (diferença de pixel vizinho).

Computar a área de sobreposição L entre a área segmentada R’ no quadro F’ e a área R no quadro F em comparação com a área de R (R’).

X’ = X’ + ι

}

T’ é escolhido de modo que R’ case de modo próximo com R.

Desse modo, o limiar ótimo T é encontrado para segmentar a área R’ no quadro F’, impedindo a sub- ou sobre-segmentação no lado de decodificador. D, no quadro de imagem derivado gradual, as áreas de transição gradual correspondentes são identificadas.

4. Geração da informação de controle de conteúdo de dados de pós-processamento para cada área.

Para cada área de transição gradual R no quadro F, realiza-se, por exemplo, um ajuste de spline 2D ou outra estratégia de interpolador/ suavizador (por exemplo, se a transição gradual tiver alguns aspectos de textura para ela - por exemplo, um pequeno ruído de padrão -, a interpolação pode envolver os parâmetros de modelo de textura, ou seja, ela pode ser uma interpolação mais complexa envolvendo, por exemplo, regeneração de textura baseada em modelo), para a luminância de pixel na área R. Uma spline 2D consiste de funções de base em relação à peça (por exemplo, polinomiais) para ajustar áreas suaves arbitrárias. A complexidade da spline é controlada pelo número de funções de base usadas. O uso de um algoritmo de ajuste de spline para selecionar automaticamente o número mínimo K das funções de base é preferido, de modo que a diferença média entre Rea superfície ajustada fique abaixo de um limiar de erro pré-defmido. Isso estabelece parâmetros funcionais para as áreas de transição gradual. Neste exemplo é usada uma função spline, entretanto, outras funções de ajuste podem ser usadas, por exemplo, para o ajuste polinomial simples de áreas relativamente pequenas. Na figura isso é indicado pelo bloco “determinar informação de controle”.

Em um modo de realização preferido, a qualidade-de-ajuste (por exemplo, erro de ajuste) é realizada neste estágio para determinar se a superfície ajustada dá uma representação confiável do quadro original. Se não, a área não é selecionada como candidata para pós-processamento. Isso é um exemplo da aplicação de um limiar depois de estabelecer os parâmetros funcionais.

A seguir, a informação de controle de pós-processamento para cada área é, então, gerada no lado de codificador como:

Área de descrição (informação de controle)

{

Localização de grão (xs, ys).

Limiar de segmentação para a inundação no lado de decodificador (ΊΡ).

Controle de complexidade da função spline (K).

(Opcional: coeficientes de spline). A localização de grão e o limiar de segmentação determinam a posição das áreas de segmentação gradual correspondentes na imagem derivada F\ Eles formam dados de posição. Na fig. 1, isso é indicado esquematicamente por P para a posição na informação de controle.

5 O controle de complexidade da função spline e os coeficientes

de spline provêem parâmetros funcionais para o conteúdo de dados dentro das áreas de segmentação gradual. Na fig. 1 isso é indicado esquematicamente por C para o Conteúdo na informação de controle. O codificador compreende um gerador para gerar a informação de controle. A informação de controle pode 10 compreender também dados de identificação de tipo. As áreas de transição gradual podem ser identificadas, por exemplo, como “céu”, “grama” ou “pele”. No lado de codificador, usando a informação da imagem original, isso pode ser feito com uma precisão muito maior que no lado de decodificador. No lado de codificador, a cor, o tamanho e a posição da área de transição 15 gradual são frequentemente uma boa indicação do tipo da área de transição gradual. Essa informação de tipo (na figura, assinalada por Ty para o tipo) pode ser inserida na informação de controle no sinal de dados. Isso permite, no lado de decodificador, identificar tipos específicos de áreas de transição gradual.

A informação de controle é transmitida (ou armazenada) como

informação de lado para o decodificador. Um exemplo seria que elas são portadas pelas mensagens SEI definidas no padrão H.264/AVC corrente. O sinal de imagem, então, compreende informação de controle adicional, não presente nos sinais de imagem conhecidos, e é, ele mesmo, um modo de 25 realização da invenção. Além disso, qualquer portador de dados compreendendo o sinal de dados de acordo com a invenção, como um DVD ou outro portador de dados, forma um modo de realização da invenção. A invenção, desse modo, também é corporificada em um sinal de dados compreendendo dados de imagem e informação de controle, onde a informação de controle compreende os parâmetros funcionais para o conteúdo de dados das áreas de transição gradual e os dados de posição para as áreas de transição gradual. Esse sinal pode ser usado tanto por decodificadores padrão quanto por decodificadores de acordo com a invenção. No lado de 5 decodificador, de acordo com o método de decodificação da invenção, são realizadas as etapas a seguir:

Lado de decodificador:

1. Identificar as áreas de transição gradual segmentadas com base na informação de posição P recebida a partir do lado de codificador 10 (grão (xs, ys) e limiar T’). O decodificador compreende um identificador para identificar dados de posição para as áreas de transição gradual. As áreas de transição gradual no quadro decodificado (ou seja, a segmentação do quadro decodificado) são, desse modo, identificados. O decodificador tem um leitor para Ier a informação C e P.

2. Usar o ajuste de spline Apply 2D para a área com funções

de base K (controle de complexidade). O decodificador compreende um identificador para identificar os parâmetros funcionais para o conteúdo de dados das áreas de transição gradual. Dentro do conceito da invenção, ‘parâmetros funcionais’ deve ser entendido em termos gerais. Esses 20 parâmetros podem compreender quaisquer dados indicando o tipo da função a ser usada (função spline, polinomial simples, outra função), parâmetros indicando a complexidade da função (o número de termos em uma polinomial, por exemplo), os coeficientes dos termos, o tipo dos dados a que eles dizem respeito (luminância, coeficientes de cor, valor z) etc, ou qualquer 25 combinação desses dados. Além disso, os parâmetros podem ser dados em uma forma absoluta, ou em uma forma diferencial, por exemplo, com relação a um quadro anterior. O último modo de realização pode reduzir o número de bits necessários para os parâmetros. O mesmo tipo de função pode ser usada através de todo o quadro ou série de quadros, ou diferentes funções podem ser usadas, por exemplo, dependendo do tamanho da área de transição gradual ou do tipo dos dados relacionados. Além disso, para dados diferentes, como, por exemplo, luminância e profundidade, as áreas de transição gradual podem ou não coincidir. Neste modo de realização, é usada a informação de conteúdo.

5 Alternativamente, os segmentos identificados poderiam passar

por um tratamento alternativo. Por exemplo, as funções de spline poderiam ser alteradas para realçar ou diminuir a transição gradual sobre a área. O céu poderia ser feito mais azul, a grama mais verde ou uma área de céu cinza poderia ser substituída por um céu azul. Em qualquer caso, as áreas de 10 transição gradual, depois de terem sido identificadas e processadas, são inseridas no quadro decodificado que substitui as partes correspondentes originais. O resultado final é que pelo menos algumas das partes de transição gradual que eram suscetíveis a bloqueio devido à quantização durante a codificação-decodificação são substituídas por outras partes. Em particular, 15 quando a informação de controle compreende uma informação da tipo Ty. A informação de tipo “pele ou face” pode, por exemplo, disparar um algoritmo de aperfeiçoamento de face.

Em geral, a presente invenção permite uma sincronização da forma dos segmentos a partir do codificador (imagem decodificada original 20 ou estimada) e do decodificador. O codificador, pode conhecer a estratégia de decodificação, e pode, então, determinar qual o melhor modo para segmentar (por exemplo, quais estatísticas, métodos, parâmetros...) deveria ser usado e transmitir isso como informação de lado ao longo do sinal de imagem comprimido (isso pode até envolver um código de algoritmo de software de 25 compressão). Ter essa melhor segmentação pode ser usado para a remoção de artefato mais ótima (especialmente de grande extensão), e, desse modo, realizar uma melhor compressão/índice de qualidade, mas outras aplicações também podem se beneficiar (por exemplo, quando tendo um processamento de imagem de maior ordem bem segmentada de uma pessoa, de modo que a análise de comportamento da pessoa seja beneficiada). Finalmente, também os dados corretivos para as sub-regiões nos segmentos podem ser transmitidos. Por exemplo, um céu em uma foto ou em imagens de vídeo sucessivas pode ser representado de modo muito barato com dados de imagem e uma spline ótima para mudar gradualmente a cor azul, mas, em algumas regiões ou imagens, pode haver algumas regiões que são suavizadas (por exemplo, pequena pincelada de nuvem). Isso pode ser corrigido com poucos dados de correção de pixel relacionado a segmento.

3. De preferência, a fim de impedir uma transição abrupta entre a área pós-processada e outras partes não-afetadas da imagem, uma transformada de distância é aplicada para identificar uma ‘banda de transição’ entre uma área de transição gradual e suas áreas adjacentes. Por exemplo, uma técnica de ponderação (não)-linear é usada para aperfeiçoar a transição sobre essas áreas de fronteira. Na banda de transição, uma função de suavização é aplicada para suavizar a transição entre a área preenchida e as áreas adjacentes.

4. O resultado do ajuste de spline é de precisão de ponto flutuante, que pode, então, ser interpretada sobre quaisquer ajustes de mostrador (por exemplo, profundidade de cor de 8-bit ou 10-bit).

O resultado final é um quadro decodificado aperfeiçoado IDF.

Este é enviado para uma renderização específica de mostrador. Observações adicionais:

1. O modelo de spline (coeficientes) pode ser transmitido para o decodificador, se o decodificador tiver determinadas restrições de computação.

2. Um exemplo nas nossas experiências mostra que a PSNR se aperfeiçoa por até 2-4dB (medido na área de transição gradual somente) aplicando-se a invenção. Neste caso, o ajuste de spline poderia ser realizado sobre a área R no quadro original F. Portanto, um modo de realização da invenção é que o método é usado como processamento em circuito embutido no codificador. Esse modo de realização será explicado adicionalmente em um modo de realização adicional mostrado nas figs. 7, 8 e 9.

Nas figs. 2 e 3, é ilustrado um erro típico nas imagens 5 decodificadas tendo áreas de transição gradual. A fig. 2 mostra o quadro original. A parte de topo, por exemplo, o céu, mostra uma transição gradual a partir do branco no topo para o cinza no horizonte. Neste caso, 9 tonalidades de cinza transicionadas. A fig. 3 mostra a imagem depois da decodificação. Ocorreu quantização. A quantização mostra como as bandas de cinza e a 10 distinção entre as bandas (embora somente uma tonalidade de cinza), mesmo se a diferença de nível de cinza for somente pequena, podem ser facilmente reconhecidas pelo olho humano.

As figs. 4 a 6 ilustram o método da invenção. A área de transição gradual R é identificada no quadro original F. Por exemplo, a partir 15 de um ponto de grão, indicado pelo cruzamento de um algoritmo de inundação, indicado esquematicamente pelas setas a partir do ponto de grão, é encontrada a área de transição gradual (GTA) R. Para essa área de transição gradual é gerada uma função spline de ajuste melhor para melhor descrever a luminância dentro da área R. A área é indicada pela linha. Em teoria, claro, a 20 linha deveria coincidir com o quadro da imagem, o horizonte e contorno da fábrica. Nesta figura, é desenhada uma linha ligeiramente para dentro, de modo que a GTA fique visível.

No quadro decodificado F’, a área de transição gradual R’ correspondente é identificada. A função spline da área R é, então, aplicada à 25 área R’ que, de fato, substitui a área R’ do quadro decodificado F com uma reconstrução parametrizada da área R correspondente do quadro original F. Visto que as áreas de transição gradual, pelo simples fato de que elas mostram uma transição gradual, podem ser parametrizadas por um alto grau de precisão, isso rende um quadro decodificado aperfeiçoado IDF no qual as graduações de nível de cinza devido aos efeitos de quantização não são mais visíveis.

Nos experimentos foi verificado que uma qualidade de renderização aperfeiçoada da área de céu sem embaraçar os detalhes em outras partes da imagem foi encontrada. Foi encontrado um aperfeiçoamento de 2-4dB no valor de PSNR que é claramente visível a olho nu.

As figs. 7 e 8 ilustram um modo de realização adicional da

invenção.

No exemplo mostrado na fig. 1, a invenção é usada fora do circuito do codificador. No lado de decodificador, é feito um quadro decodificado aperfeiçoado IDF.

Entretanto, a invenção também pode ser usada em um circuito do codificador. Como é bem conhecido, no codificador, um quadro decodificado também é usado em um circuito dentro do codificador para 15 avaliação de movimento e compensação de movimento quando os quadros B e P são gerados a partir dos quadros I. Os mesmos artefatos mostrados na fig. 3 estarão presentes nos quadros decodificados dentro do codificador e os artefatos afetarão a precisão da avaliação de movimento e da compensação de movimento e a qualidade dos quadros B e P. Isso é verdadeiro para qualquer 20 arranjo onde, dentro do codificador, é feito um quadro decodificado ou uma representação do mesmo. Como explicado acima, a invenção provê, no decodificador, um quadro decodificado aperfeiçoado IDF. Mas o mesmo aperfeiçoamento ou um semelhante pode ser obtido em um quadro decodificado usado do lado de dentro (assim, dentro do circuito), dentro um 25 codificador. Isso permitirá, por exemplo, uma melhor avaliação de movimento e uma melhor compensação de movimento e, desse modo, a renderização aperfeiçoada dos quadros B e P. A fig. 7 ilustra esse modo de realização. Dentro do codificador, antes de usar um quadro decodificado para a avaliação de movimento (ME) e para a compensação de movimento (MC), o quadro original e o quadro decodificado são submetidos a GTAI, Identificação de área de transição gradual (ou seja, informação de posição), e GT, transformação de área de transição gradual, ou seja, a transformação das áreas de transição gradual no quadro decodificado com uma representação 5 parametrizada da área de transição gradual correspondente no quadro original. O resultado final é um quadro aperfeiçoado a ser usado para ME e MC e, desse modo, a renderização aperfeiçoada dos quadros B e P. Claro que, no lado de decodificador, o algoritmo correspondente deve ser usado para realizar as mesmas avaliação de movimento e compensação de movimento. A 10 informação sobre como encontrar a posição das áreas de transição gradual e a função para preencher as áreas, de preferência, é incluída no fluxo de dados. Essa informação, entretanto, não exige muitos bits.

A fig. 7 ilustra um modo de realização no qual partes do quadro decodificado são substituídas. A fig. 8 mostra uma variação sobre este modo de realização.

Em alguns métodos mais sofisticados para a avaliação de movimento e a compensação de movimento, há a liberdade de escolher, como ponto de início para o cálculo da avaliação de movimento e compensação de movimento, não necessariamente o quadro anterior (quadro k), mas o quadro 20 (k-1) antes daquele, ou aquele antes do (k-2). Isso pode ser feito para qualquer parte do quadro. Esse esquema de seleção pode ser estendido incluindo-se o conjunto dos quadros a serem considerados um ou mais quadros IDF feitos de acordo com a invenção. Esquematicamente, isso é ilustrado na fig. 8, onde um escolha pode ser feita no decisor Dl entre usar o “quadro decodificado 25 original” e o quadro decodificado aperfeiçoado IDF para a avaliação de movimento e a compensação de movimento.

Há codificadores nos quais são feitas diversas predições dos quadros decodificados ou de partes do quadros que são comparadas ao quadro original para encontrar o melhor modo de codificação/decodificação. Dentro dessa estrutura, a invenção também pode ser usada adicionando-se à lista de possíveis métodos de codificação um método no qual as áreas de transição gradual são identificadas e os parâmetros são calculados, e, no quadro decodificado, as áreas de transição gradual do quadro decodificado são 5 substituídas com uma reconstrução das áreas de transição gradual correspondentes do quadro original. Na fig. 9, isso é ilustrado tendo próximo à indicação de caixas predl, pred2, ou seja, as predições dos vários métodos de codificação/decodificação, uma caixa com GTAI ou GT. No decisor MD, comparando-se o resultado das predições para o quadro original ou parte do 10 quadro original, o melhor modo possível de codificar/decodificar é escolhido para um quadro ou, mais provavelmente, para uma parte de um quadro, como um macro-bloco.

Assim, na fig. 7, as interpolações de transição gradual são usadas como o pós-processamento nos quadros I, muito semelhante ao caso 15 fora de circuito. A diferença é que a interpolação de transição gradual é aplicada ao quadro I e, então, usada como uma referência (de movimento compensado) para os quadros P e B. A informação adicional que é adicionada ao fluxo de vídeo é a mesma que para o fora de circuito: tanto os parâmetros de controle de segmentação quanto os parâmetros de modelo. O segundo 20 modo dentro de circuito é um pouco diferente. Aqui, o quadro interpolado é usado como um possível modo de codificação ao lado de outros modos de predição. Se o modelo de transição gradual for selecionado como um interpolador, isso é indicado no fluxo, como é feito para qualquer outro modo de predição. Entretanto, as exigências básicas ainda devem encontrar as áreas 25 de transição gradual no quadro original e as áreas correspondentes no quadro decodificado são encontradas e o quadro decodificado é gerado dentro do codificador que tem um circuito de codificador e a redução de artefato é aplicada dentro do circuito de codificador.

As abreviações nas figs. 7 a 9 correspondem a: DCT = Transformada de Fourier discreta Q = quantizador

VLC = codificação de comprimento variável Pred = modo de predição Pred_d = predição decidida

GTAI = identificação de área de transição gradual MD = Decisão de modo

GT = transformação de área de transição gradual DCT1 = DCT inversa A invenção refere-se a um método e a um sistema de

codificação, bem como a um método e um sistema de decodificação, como descrito acima a título de exemplo.

A invenção também é corporificada em um sinal de imagem compreendendo sinais de imagem codificados e informação de controle 15 compreendendo parâmetros funcionais descrevendo o conteúdo de dados de uma ou mais áreas de transição gradual e os dados de posição para as posições de uma ou mais áreas de transição gradual. Isso é válido tanto para os modos de realização mostrados na fig. 1 quanto para os modos de realização nas figs.

7 a 9. A informação de controle pode compreender dados de acordo com 20 qualquer um, ou, com qualquer combinação dos modos de realização descritos acima. Como explicado acima, o sinal de dados pode ser usado para substituir, no sinal decodificado, as áreas de transição gradual, por uma reconstrução das áreas correspondentes no quadro original, mas a invenção também pode ser usada para alterar essas áreas à vontade, por exemplo, 25 substituí-las por áreas de uma cor diferente ou por outra representação.

Os exemplos de remoção de artefato descritos aqui são apenas ilustrações não-limitadoras de um objetivo da invenção para fazer a imagem reconstruída/decodificada parecer mais proximamente com a original codificada. A imagem característica não deve ser vista limitadora pelo fato de que somente imagens sucessivas são codificadas. Um artista final transmissor pode usar esse método também para especificar diversas imagens (sub- regiões) “originais” para o receptor. Por exemplo, ele pode testar sobre o lado transmissor qual efeito é de uma simples interpolação de spline ou de uma regeneração de céu complexa de computação gráfica. O sinal pode, então, conter ambos os conjuntos dos parâmetros de correção. Um decodificador pode selecionar um, dependendo de suas capacidades, ou direitos digitais pagos etc.

Os modos de realização para a qualidade visual aperfeiçoada da invenção podem ser usados fora do circuito de codificador (fig. Γ), bem como dentro do circuito de codificador (figs. 7 a 9), onde os quadros decodificados são usados, ou as predições desses quadros decodificados são usadas.

Com relação ao limiar, é observado que os limiares podem, em modos de realização simples, ser limiares fixos (por exemplo, enviados uma vez para todas as segmentações de céu em um inteiro instantâneo de filme), mas também podem ser limiares adaptáveis (por exemplo, um ser humano pode checar diversas estratégias de segmentação, e definir - para armazenamento em uma memória (por exemplo, disco blue-ray), ou transmissão de televisão (em tempo real ou tardia) etc - um grande número de limiares ótimos, como, por exemplo, ilustrado na fig. 10). A idéia principal é que o codificador realiza uma estratégia de segmentação e, então, depois de encontrar aquela parametrizada corretamente que se ajusta à região de imagem desejada, o que pode ser feito fora de linha, por exemplo, pela orientação de artista humano, envia o parâmetro com o sinal de imagem, por exemplo, mensagem SEI, de modo que o decodificador também possa simplesmente realizar a segmentação correta.

A figura 10 mostra um exemplo de uma segmentação de crescimento de região, a região desejada a ser segmentada (cinza escura) fica próxima a uma região dessemelhante (branca) e uma outra região similar (cinza clara). A região a ser segmentada é escaneada em linha de zigue-zague. Devido à linha de escaneamento em linha em zigue-zague ser seguida, nenhum dado adicional é necessário para sincronização de segmentos de 5 crescimento no codificador e decodificador. Um descritor estatístico em funcionamento (por exemplo, a luminância média ou nível cinzento com tolerâncias é calculado e, por exemplo, inicializado como metadado. Se um pixel ou bloco corrente não se desviar mais do que um valor Tl da quantidade de funcionamento, o pixel/bloco é anexado ao segmento. Entretanto, poderia 10 ser que a região dessemelhante seja erroneamente anexada uma vez que a diferença seja menor do que Tl. Isto pode se corrigido pela adaptação do limiar a T2, indicado esquematicamente nesta figura por T1->T2. Esta correção pode se efetuada pelo envio de um T2 atualizado para esta posição na linha de escaneamento. O limiar ΤΙ, T2 não é, então, um valor fixo, mas 15 um valor adaptável. A segmentação pode ser feita sobre valor de cinza, mas poderia ser feita também sobre a textura. Poderíamos primeiro converter a imagem com algoritmos caracterizando texturas em imagem texturizada para uma imagem de valor de cinza e aplicar segmentação de valor cinza, mas poderíamos também comparar diretamente medidas de textura na estatística, 20 por exemplo, poderíamos calcular um número de medidas de forma de padrão local. Nesta estratégia, a informação SEI poderia ser, por exemplo, dados do algoritmo que calcula ao arredondamento, ou filtros de arredondamento adaptados localmente.

Por exemplo, a segmentação pode ser feita com base no

cálculo de:

G = 77< Σ |c,8-c/j+ Σ \CM,"-CM‘\)

allpixels allmeasures

No qual C é o número de pixéis pertencentes a um valor particular de cinza e/ou classe de cor i (por exemplo, entre 250 e 255) de uma região a ser anexada A (por exemplo, um bloco de 8 x 8) em comparação com uma estatística média representativa na mesma classe i, vezes a mesma quantidade de pixéis como em A, para o segmento corrente R.

O segundo termo compara classes de medidas de textura local, por exemplo, formas calculadas (por exemplo, um primeiro operador Sl 5 classifica a extensão dos elementos de textura como baixa se <4 pixéis e alta se maior, e um segundo valor S2 indica o arredondamento para redondo ou alongado, a combinação (redondo, pequeno) é classe CM i=l etc. A métrica conta o número dessas sub-regiões locais no bloco a se anexado e a estatística de segmento funcionando, novamente indicação de quão similar - em textura, 10 uma região vizinha é do segmento corrente; N é um normalizador.

Como estratégia de correção para contagem de perda de qualidade visual da compressão “normal” (DCT), podemos, por exemplo, enviar um modelo de síntese de textura + parâmetros. Neste exemplo, os parâmetros de determinação de segmentação serão, por exemplo, os 15 algoritmos para determinar o arredondamento e o tamanho, a função-G acima, e limiares acima, cujo G indica dessemelhança e, talvez, uma estratégia de segmentação (mesclagem de funcionamento, quadtree,...). Desse modo, também para a textura uma transição gradativa pode ser o cenário como uma região na qual as propriedades não mudam substancialmente.

Tendo a informação para segmentação transmitida, em modos

de realização do método e o sinal de acordo com a invenção, informação a respeito de operação de imagem a ser efetuada no lado de codificador é também transmitida e incluída no sinal, por exemplo, para fazer a imagem descomprimida limpa/reconstruída parecer tão boa quanto possível como o 25 original, ou um desvio de boa aparência da mesma aceito pelo operador humano (por exemplo, parecendo mesmo mais definida do que o original capturado). No exemplo de desbloqueio de céu, isto seria, por exemplo, suportes de filtro ou parâmetros de interpolação), no exemplo de limpeza ou substituição de grama poderia ser, por exemplo, parâmetros de geração de programa. Esta informação relativa à operação de imagem a ser efetuada no lado do codificador faria, então, parte dos parâmetros funcionais C determinando o conteúdo da área de transição gradativa. Desse modo, parâmetros funcionais C para determinar o conteúdo são todos os parâmetros que permitem preencher e/ou substituir e/ou manipular o conteúdo das áreas segmentadas.

A invenção é também concretizada em qualquer produto de programa de computador para um método ou dispositivo de acordo com um modo de realização da invenção. Sob o produto de programa de computador deve ser entendido qualquer realização física de uma coleção de comandos possibilitando que um processador -de finalidade genérica ou especial, após uma série de etapas de carregamento (que podem incluir etapas de conversão intermediárias, como translação para uma linguagem intermediária, e uma linguagem de processador final) para obter os comandos para o processador, para executar qualquer das funções características de uma invenção. Em particular, o produto de programa de computador pode ser realizado como dados em uma portadora, como, por exemplo, um disco, uma fita, dados presentes em uma memória, dados se deslocando sobre uma conexão de rede - por ou sem fio, ou código d e programa em papel. Além do código de programa, dados característicos necessários para o programa também podem ser concretizados como um produto de programa d computador.

Deve ser notado que os modos de realização acima mencionados ilustram mais do que limitam a invenção, e alguém experiente na técnica será capaz de projetar muitos modos de realização alternativos sem se afastar do escopo das reivindicações anexas.

Nas reivindicações, qualquer sinal de referência colocado entre parênteses não deve ser considerado como limitador de acordo com a reivindicação.

Deve ficar claro que, dentro do esboço da invenção, muitas variações são possíveis. Deve ser apreciado por alguém experiente na técnica que a presente invenção não está limitada pelo que foi particularmente mostrado e descrito acima. A invenção reside em cada e em toda característica inédita e em cada e toda combinação de atributos característicos. Números de referência nas reivindicações não limitam seu escopo protetor.

Por exemplo, o método pode ser usado para apenas uma parte da imagem, ou modos de realização diferentes do método da invenção podem ser suados para partes diferentes da imagem, por exemplo, elo uso de um modo de realização para o centro da imagem, enquanto usando outro para as bordas da imagem.

O uso do verbo “compreender” e suas conjugações não exclui a presença de elementos que não os citados nas reivindicações. O uso do artigo “um” ou “uma” precedendo um elemento não exclui a presença de uma pluralidade de tais elementos.

Claims

1. Método para codificar um sinal de imagem, caracterizado pelo fato de que é aplicada redução de artefato, em que, de um primeiro quadro de imagem (F), uma ou mais áreas de transição gradual (R) são identificadas, em um segundo quadro de imagem (F’) derivado do primeiro quadro de imagem, uma ou mais áreas de transição gradual correspondentes (R’) são identificadas, parâmetros funcionais (C) descrevendo o conteúdo de dados de uma ou mais áreas de transição gradual do primeiro quadro são estabelecidos, e, possivelmente, dados de posição (P) para as posições de uma ou mais áreas correspondentes (R’) no segundo quadro de imagem (F’), derivado, são estabelecidos.

2. Método para codificar de acordo com a reivindicação 1, caracterizado pelo fato de que o segundo quadro de imagem derivado é um quadro decodificado (F’) e o primeiro quadro é uma quadro original (F).

3. Método para codificar de acordo com a reivindicação 2, caracterizado pelo fato de que o quadro decodificado é gerado dentro de um codificador tendo um circuito de codificador e que é aplicada redução de artefato dentro do circuito de codificador substituindo-se o conteúdo de uma ou mais das áreas de transição gradual (R’) com uma reconstrução do conteúdo das uma ou mais áreas de transição gradual (R).

4. Método para codificar de acordo com a reivindicação 1, caracterizado pelo fato de que um ou mais limiares são usados para a identificação das áreas de transição gradual (R, R’).

5. Método para codificar de acordo com a reivindicação 4, caracterizado pelo fato de que o limiar é um limiar de tamanho.

6. Método de acordo com a reivindicação 5, caracterizado pelo fato de que o limiar de tamanho depende da quantização (QP) usada durante a codificação-decodificação onde o tamanho de limiar aumenta à medida que a quantização se toma mais grosseira.

7. Método de acordo com a reivindicação 4, caracterizado pelo fato de que o limiar é um limiar de inundação.

8. Método para codificar de acordo com a reivindicação 7, caracterizado pelo fato de que o limiar de inundação é determinado comparando-se uma reconstrução de uma área de transição gradual a partir da segunda imagem com a área de transição original a partir da primeira imagem, de modo que a área de sobreposição entre as duas seja maximizada.

9. Método para codificar de acordo com a reivindicação 1, caracterizado pelo fato de que uma função spline é usada para prover o conteúdo de dados de uma ou mais áreas de transição gradual (R).

10. Sistema para codificar um sinal de imagem, caracterizado pelo fato de que é aplicada redução de artefato, em que o sistema compreende um primeiro identificador para a identificação, de um primeiro quadro de imagem (F), de uma ou mais áreas de transição gradual (R), um segundo identificador para identificar, em um segundo quadro de imagem (F’) derivado do primeiro quadro de imagem, uma ou mais áreas de transição gradual correspondentes (R’), e um gerador para gerar parâmetros funcionais (C) descrevendo o conteúdo de dados de uma ou mais áreas de transição gradual e dados de posição (P) para as posições de uma ou mais áreas correspondentes no segundo quadro de imagem, derivado.

11. Sistema para codificar um sinal de imagem de acordo com a reivindicação 10, caracterizado pelo fato de que o primeiro e o segundo identificador são arranjados para identificar áreas de transição gradual em um quadro de imagem original e em um quadro de imagem decodificada.

12. Sistema para codificar um sinal de imagem de acordo com a reivindicação 11, caracterizado pelo fato de que o primeiro e o segundo identificador são arranjados em um circuito de codificador.

13. Sistema para codificar um sinal de imagem de acordo com a reivindicação 10, caracterizado pelo fato de que o primeiro ou o segundo identificador é arranjado para aplicar um ou mais limiares para a identificação da área de transição gradual.

14. Sinal de imagem, caracterizado pelo fato de que compreende dados de imagem e informação de controle, em que a informação de controle compreende parâmetros funcionais (C) para o conteúdo de dados das áreas de transição gradual dentro de um quadro e dados de posição (P) para as áreas de transição gradual dentro de um quadro.

15. Sinal de imagem de acordo com a reivindicação 14, caracterizado pelo fato de que a informação de controle compreende uma identificação de tipo (Ty) para uma ou mais das áreas de transição gradual.

16. Sinal de imagem, caracterizado pelo fato de compreender dados de imagem e parâmetros de determinação de segmentação, utilizável para sincronizar uma segmentação de imagem no lado de codificador e decodificador.

17. Sinal de imagem de acordo com a reivindicação 16, caracterizado pelo fato de que os parâmetros de determinação de segmentação compreendem pelo menos dois limiares para as respectivas posições na imagem, os limiares determinando se os pixéis de imagem sucessivos pertencerão ao mesmo segmento.

18. Método para decodificar um sinal de imagem, caracterizado pelo fato do sinal de imagem compreender dados de imagem e informação de controle onde a informação de controle compreende parâmetros funcionais (C) para o conteúdo de dados das áreas de transição gradual e dados de posição (P) para as áreas de transição gradual onde a informação de controle é lida, as áreas de transição gradual são identificadas, processadas e inseridas no quadro de imagem decodificado.

19. Método para decodificar um sinal de imagem de acordo com a reivindicação 18, caracterizado pelo fato de que, a partir dos parâmetros funcionais, o conteúdo de dados das áreas de transição é reconstruído.

20. Método para decodificar um sinal de imagem de acordo com a reivindicação 18, caracterizado pelo fato de que uma ‘banda de transição’ entre a área de transição gradual e suas áreas adjacentes é identificada e na banda de transição é aplicada uma função de suavização para suavizar a transição entre a área de transição gradual e as áreas adjacentes.

21. Decodificador para decodificar um sinal de imagem, caracterizado pelo fato do sinal de imagem compreender dados de imagem e informação de controle onde a informação de controle compreende parâmetros funcionais (C) para o conteúdo de dados das áreas de transição gradual (R) e dados de posição (P) para as áreas de transição gradual, onde o decodificador compreende um leitor para Ier a informação de controle (C, P), um identificador para identificar as áreas de transição gradual (R’) e um processador para processar o conteúdo das áreas de transição gradual e inserir o conteúdo processado no quadro de imagem decodificado.

22. Decodificador de acordo com a reivindicação 21, caracterizado pelo fato de que o processamento do conteúdo das áreas de transição gradual é realizado por meio da reconstrução do conteúdo com base nos parâmetros funcionais (C).