PT1449383E - Compensaão global de movimento para imagens de vdeo - Google Patents
Compensaão global de movimento para imagens de vdeo Download PDFInfo
- Publication number
- PT1449383E PT1449383E PT02789126T PT02789126T PT1449383E PT 1449383 E PT1449383 E PT 1449383E PT 02789126 T PT02789126 T PT 02789126T PT 02789126 T PT02789126 T PT 02789126T PT 1449383 E PT1449383 E PT 1449383E
- Authority
- PT
- Portugal
- Prior art keywords
- frame
- block
- encoded
- motion vector
- video
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
- Picture Signal Circuits (AREA)
- Television Systems (AREA)
Description
ΕΡ 1 449 383/PT DESCRIÇÃO "Compensação global de movimento para imagens de vídeo"
ANTECEDENTES DO INVENTO 0 invento descrito e reivindicado aqui pertence geralmente a um método para a compressão de dados de sinal de video. Mais particularmente, o invento pertence a um método do tipo acima, o qual emprega a compensação global de movimento. Ainda mais particularmente, algumas concretizações do invento pertencem a um método do tipo acima em que os macroblocos são agrupados em lâminas e a informação de compensação global de movimento é transmitida com lâminas codificadas.
Prevê-se que as concretizações do invento possam ser utilizada em ligação com descodificadores de televisão de sinais de TV digital de alta definição (HDTV) e de definição normalizada (SDTV), como parte de sistemas de videoconferência e em computadores, incluindo PC, laptops e semelhantes para descodificação de vídeo. As concretizações também podiam ser também utilizadas em dispositivos móveis, tais como telefones móveis e PDA, como parte de um descodificador num projector de cinema digital, e em sistemas de gravadores de vídeo de reprodutores e de entretenimento doméstico. No entanto, não se pretende a limitar o invento tais concretizações.
Os sinais de vídeo digitais, de forma não comprimida, contêm em geral grandes quantidades de dados. No entanto, o conteúdo de informação real necessária é consideravelmente mais pequena, devido às altas correlações temporais e espaciais. Por conseguinte, a compressão de vídeo, ou a codificação, é utilizada para reduzir a quantidade dos dados que é efectivamente requerida para certas tarefas, tais como o armazenamento dos sinais de vídeo ou para transmitir os mesmos de uma localização para outra. No processo de codificação pode ser utilizada redundância temporal, fazendo as denominadas previsões com compensação de movimento, em que as regiões de um quadro de vídeo são previstas a partir de regiões semelhantes de um quadro anterior. Isto é, podem 2 ΕΡ 1 449 383/ΡΤ existir partes de um quadro que contêm pouca ou nenhuma alteração das partes correspondentes do quadro anterior. Tais regiões podem, portanto, ser ignoradas ou não codificadas, a fim de maximizar a eficiência de compressão. Por outro lado, se não poder ser encontrada uma boa coincidência com um quadro anterior, as previsões dentro de um quadro podem ser utilizadas para reduzir a redundância espacial. Com um sistema de previsão com sucesso, o erro de previsão será pequeno e a quantidade de informação que tem de ser codificado bastante reduzida. Além disso, pela transformação os pixéis para um domínio da frequência, por exemplo, utilizando a transformada de cosseno discreta, as correlações espaciais proporcionam ganhos de eficiência adicionais.
Aqui, os termos "imagem" e "quadro" são utilizados indiferentemente para referir a um quadro de dados de imagem numa sequência de vídeo.
As altas correlações temporais são características do vídeo. Portanto, muitos esforços de optimização da compressão de vídeo são focados na realização de previsões temporais precisas das regiões de um quadro. Quanto melhor for a previsão, menos são os bits necessários para codificar a discrepância. A própria previsão é codificada como instruções de como traduzir, ou mesmo colocar à escala ou rodar, uma região previamente codificada. Se muitas regiões de um quadro tiverem movimento semelhante, como numa ampliação zonal ("pan") ou zoom, podem resultar melhorias na eficiência de compressão da codificação separada de um movimento global, o qual se aplica então a todas ou algumas regiões do quadro. Esta técnica é frequentemente referida como a compensação global de movimento (GMC).
Existem várias razões, no entanto, pelas quais não se deve tratar todo o quadro quando é utilizada a compensação global de movimento. A primeira razão é a resiliência dos erros. A fim de evitar a propagação dos erros a partir das partes corrompidas de uma imagem, a previsão é frequentemente constrangida no interior de segmentos limitados denominados lâminas. Cada lâmina de um quadro deve, por conseguinte, ser auto-suficiente em relação à informação global de movimento. Uma outra razão é que a compensação global de movimento pode 3
ΕΡ 1 449 383/PT não ser relevante para um quadro completo, mesmo que pequenas partes do quadro possam beneficiar da compensação global de movimento aplicada a cada parte separadamente.
Ainda a codificação de imagem em função da compensação de movimento
Um típico codificador/descodificador (codec) de video, tal como as recomendações H.261 e H.263 de ITU-T, MPEG-1 parte 2, MPEG-2 parte 2 (H.262), ou MPEG-4 parte 2, opera codificando sequencialmente uma sequência de vídeo quadro a quadro. A estrutura é ainda dividida em blocos que são codificados sequencialmente linha por linha, começando no canto esquerdo de topo e terminando no canto direito de fundo. Um tamanho de bloco típico é o de um macrobloco (MB), que cobre 16x16 pixéis de luminância. 0 primeiro quadro na sequência é codificado como uma imagem estática, denominada intra-quadro. Um tal quadro é autónomo e não depende dos quadros codificados anteriormente. No entanto, os mesmos não são utilizados apenas no início da sequência, mas podem também ser utilizados com vantagem nos casos em que o vídeo muda de forma abrupta, tal como os cortes de cena, ou onde é desejável ter um ponto de acesso aleatório, a partir do qual um descodificador pode iniciar a descodificação sem ter de descodificar a parte anterior do corrente de bits. Os valores de pixel de macroblocos intra-codificados são usualmente transformados num domínio de frequências, que utiliza, por exemplo, a transformada discreta de co-senos e os coeficientes de transformada quantificados, a fim de reduzir o tamanho da corrente de bits resultante.
Pelo contrário, um intra-quadro é codificado como uma imagem de diferença com compensação de movimento em relação a um quadro anterior. Pela utilização de um quadro já descodificado (quadro reconstruído) como referência, o codificador de vídeo pode sinalizar para cada macrobloco um conjunto de vectores de movimento (MVS) e os coeficientes. Os vectores de movimento (um ou vários dependentes de como o macrobloco é partido) informam o descodificador de como traduzir espacialmente as regiões correspondentes do quadro 4
ΕΡ 1 449 383/PT de referência a fim de fazer uma previsão para o macrobloco em consideração. Isso é referido como a compensação de movimento. A diferença entre a previsão e o original é codificada em termos de coeficientes de transformação. No entanto, nem todos os macroblocos de um intra-quadro necessitam de serem compensados em movimento. Se a mudança do macrobloco de referência para o macrobloco de corrente for pequena, o macrobloco pode ser codificado no modo de COPY, ou seja, em si mesmo não codificado, mas sinalizado para ser copiado. Ver a secção 5.3.1 de as recomendações H.263 de ITU-T "Coded macroblock indication (Indicação de macrobloco codificada) (COD) (1 bit)" para um exemplo de uma implementação do modo de COPY. Por outro lado, se os macroblocos diferirem substancialmente, pode ser melhor codificar o mesmo como um intra-macrobloco.
Compensação global de movimento em H.263
Em vez de tratar a compensação de movimento apenas numa base de bloco, pode ser vantajoso extrair o movimento global de um quadro separadamente e codificar os desvios a partir do movimento global para cada bloco. Numa sequência de passagem ou de zoom, ou quando um grande objecto se move através do quadro, o informação global de movimento é provavelmente mantida num mínimo por um tal esquema. Uma técnica bem conhecida é adicionar um passo adicional no processo de codificação antes de ser codificado um intra-quadro. 0 anexo P "Nova amostragem da imagem de referência" de H.263 proporciona um método para "distorcer" a imagem de referência dada pelos quatro vectores deslocamento v00, vH0, vov e vHV, que especificam os deslocamentos dos pixéis de canto de um quadro. A FIG. 1 mostra um quadro de referência, com estes vectores, que se prolongam, respectivamente, dos pixéis de canto 8. Os deslocamentos de todos os outros pixéis são dados por uma interpolação bilinear destes vectores, que é: v(x,y) = i +
f V
Ec d: 5 ΕΡ 1 449 383/ΡΤ onde (χ, y) é a localização inicial de um pixel, H e V representam as localizações dos pixéis de canto no quadro de referência, e r° = rx = ry _ rxy = v00 VH° vov = v00 - v00 - v00 - vH0 - vov + vHV Para uma descrição pormenorizada fórmulas pode ser feita referência à
Quando esta compensação global de movimento é utilizada para um quadro subsequente ou intra-quadro, o referencial é amostrado de novo, pixel por pixel, utilizando a interpolação acima. Após a nova amostragem ter sido executada, o codificador pode continuar com a codificação do intra-quadro, com base no quadro de referência amostrado de novo.
Compensação global de movimento na parte 2 de MPEG-4 A compensação global de movimento é também especificada na norma visual MPEG-4 que utiliza os denominados S(GMC)-VOP. Aqui, a compensação global de movimento é aplicada pixel por pixel como para o anexo P de H.263. No entanto, pode ser ainda escolhido num nível de macrobloco se o quadro de referência de movimento global compensado (interpolado) quadro dever ser ou não utilizado.
Compensação global de movimento proposta para H.26L 0 ITU-T está actualmente a desenvolver uma nova norma de codificação de vídeo, a recomendação H.26L, a qual é também provavelmente para ser publicada em conjunto como uma norma internacional pela ISO/IEC denominada MPEG-4 AVC (ISO/IEC 14496-10). A H.26L corrente segue a norma geral atrás mencionada de concepção de codificação de vídeo com quadros e macroblocos, em que cada imagem é codificada por um cabeçalho de imagem seguido por macroblocos. Esta norma é explicada em seguida, em ligação com FIGS. 8 e 9.
Uma desvantagem significativa na utilização da compensação global de movimento para um quadro de vídeo é a 6 ΕΡ 1 449 383/ΡΤ perda de resistência e flexibilidade de erros provocadas pelo tratamento dos quadros completos. Assim, se os vectores globais de movimento forem codificadas apenas uma vez para uma imagem, por exemplo, no início da imagem e esta parte da corrente de bits for perdida durante a transmissão, toda a imagem vai provavelmente ser corrompida. Por conseguinte, os vectores de movimento para os blocos através de toda a imagem não podem ser descodificados e devem ser ocultados. Tais erros podem-se também propagar no tempo, uma vez que a próxima imagem pode ser também uma intra-imagem, utilizando assim uma imagem corrompida como referência. Um outro problema, no que se refere, mais especificamente, à concepção de codificação de vectores global de movimento proposta (GMVC) para a norma H.26L, é que não podem ser especificados os diferentes movimentos globais para as partes de um quadro.
Em WO 00/70879 é descrito um método para codificação de vídeo digital para as normas MPEG que utiliza um dispositivo de estima adpativo
SUMÁRIO DO INVENTO
Como um benefício adicional, o invento apresenta um novo modo de compensação global de movimento, conhecido como a compensação global de movimento implícita (IGMC). Este modo pode ser utilizado como uma ferramenta em muitos cenários codificação que requerem um modo MB mais útil do que o modo de COPY, a fim de minimizar o número total de bits necessários para os vectores de movimento. No modo de COPY do vector de movimento é sempre zero. Pelo contrário, o IGMC utiliza vectores de movimento implícitos que estão previstos. O invento pode estar dirigido a um método de compressão de dados de vídeo para utilização com blocos de imagens, derivados pela divisão de um quadro de vídeo numa sequência de blocos. Numa concretização preferida, os blocos são macroblocos compreendendo 16x16 pixéis (luminância) e em que um diversos modos possíveis de codificação de macroblocos é um modo de compensação global de movimento implícita (IGMC). Este modo é utilizado para copiar os pixéis a partir de uma imagem anterior de um bloco disposto, deslocado por um vector 7
ΕΡ 1 449 383/PT de movimento que está previsto a partir de blocos de imagens vizinhos do quadro corrente.
DESCRIÇÃO RESUMIDA DOS DESENHOS A FIG. 1 é um diagrama esquemático que ilustra a compensação global de movimento de um quadro de acordo com a norma de compressão de vídeo H.263. A FIG. 2 é um diagrama esquemático que mostra um sistema simplificado para a compressão, transmissão e descodificação de informação de vídeo de acordo com as concretizações do invento. A FIG. 3 é um diagrama de blocos que mostram os componentes certos para o compressor do sistema, mostrado na FIG. 2. A FIG. 4 é um esquema que ilustra a divisão de um quadro de uma sequência de vídeo em lâminas, que compreendem, respectivamente, macroblocos. A FIG. 5 é um diagrama esquemático que ilustra os vectores de movimento, associados aos respectivos blocos de pixéis de um macrobloco.
As FIGS. 6 e 7 são diagramas esquemáticos mostrando cada uma lâmina, que compreende uma sequência de macroblocos para ilustração das concretizações do invento. A FIG. 8 é um diagrama esquemático que representa a sintaxe da corrente de bits da concepção H.26L nos níveis de imagens e de macroblocos. A FIG. 9 é um diagrama esquemático que representa a compensação global de movimento proposta em H.26L nos níveis de imagens e de macroblocos. A FIG. 10 é um diagrama esquemático que mostra uma lâmina que compreende 4x4 macroblocos para ilustração das concretizações do invento que pertencem à norma de compressão de vídeo H.26L. 8 ΕΡ 1 449 383/ΡΤ
DESCRIÇÃO DETALHADA DAS CONCRETIZAÇÕES PREFERIDAS
Referindo a FIG. 2, é mostrada uma fonte 10 de informação de vídeo, tal como uma câmara de vídeo. A informação, que compreende uma sucessão de quadros de vídeo, é acoplada a um codificador ou compressor de vídeo 12, que comprime os quadros sucessivos de dados de acordo com uma concretização de um invento, como descrito aqui. Uma corrente de bits que representa os dados comprimidos é transmitida através de um canal de comunicações 22, o qual pode ser um canal de comunicações sem fios, a partir de um transmissor 14 para um receptor 16. Os dados recebidos são aplicados a um descodificador de 18 para recuperar a informação de vídeo.
Referindo a FIG. 3, são mostrados certos componentes convencionais de um compressor 12 para processamento de um macrobloco de 16x16 pixéis 20, derivados pela divisão de um quadro numa sequência de quadros de vídeo, tal como é mostrado na FIG. 4. Os componentes mostrados na FIG. 3 incluem um módulo de transformada, tal como um módulo de transformada discreta de Fourier 24, um quantificador 26 e um codificador binário 28.
Como é sabido na arte, o módulo de transformada 24 recebe uma matriz de números inteiros, que compreende os respectivos níveis de escala de cinzentos (luminância) e níveis de cor (crominância) dos pixéis de macrobloco 20. O módulo 24 aplica a transformada aos níveis de pixéis para gerar uma matriz de saída dos coeficientes de transformada. Como é de igual modo sabido, quantificador 26 divide cada coeficiente de transformada por um correspondente tamanho de passo ou nível quantificação. A saída do quantificador 26 é dirigida para o codificador binário 28, o qual gera uma correspondente corrente dos bits digitais 30 para a transmissão através do canal 22.
Referindo agora a FIG. 4, é mostrado um quadro 32, que compreende um dos quadros numa sequência de vídeo 34. A FIG. 4 mostra ainda o quadro 32 dividido num número de lâminas de 36a a 36d, onde cada lâmina 36a a 36d compreende por uma sequência de macroblocos 38. Cada macrobloco compreende uma 9 ΕΡ 1 449 383/ΡΤ matriz de pixéis vindos do quadro 32. Como descrito aqui a seguir em pormenor, uma lâmina 36 pode conter informação de GMC pertencente aos seus macroblocos 38 e/ou ao quadro 32, de acordo com as concretizações do invento. A FIG. 4 mostra também lâmina 36a mais em pormenor, para enfatizar que um limite de lâmina pode aparecer após qualquer macrobloco de um quadro. A lâmina 36b é mostrada de modo a incluir os macroblocos localizados em diversas filas 37 do quadro. Para além disso, a lâmina 36b tem inicio a uns poucos macroblocos do limite de quadro esquerdo da lâmina e termina a uns poucos macroblocos antes do limite do quadro direito na última fila da lâmina. Assim, algumas lâminas farão a ponte através de mais do que uma fila 37, e uma fila 37 pode conter mais do que uma lâmina, tal como a fila de fundo com lâminas de 36c e 36d.
Referindo a FIG. 5, os blocos de pixéis 40a' a 40d' de um quadro anterior são utilizados para fazer a previsão dos blocos 40a a 40d do quadro corrente. Os vectores de movimento 42a a 42d fazem a descrição da localização a partir da qual os pixéis vindos do primeiro quadro devem ser copiados para os blocos 40a a 40d do quadro corrente. Isto ilustra que os blocos de pixéis 40a a 40d pode ser facilmente determinados ou reconstruídos pela utilização de um quadro anteriormente descodificado, em conjunto com os vectores de movimento 42a a 42d.
Referindo a FIG. 6, na mesma é mostrada uma lâmina codificada 40 gerada pela codificação de uma lâmina 36b mostrada na FIG. 4. A lâmina codificada 40 compreende macroblocos ou blocos de imagens 42, e está provida com um cabeçalho 44. Numa concretização do invento, um sinal é aplicado a lâmina codificada 40, por exemplo, pela inclusão do sinal no cabeçalho 44, para indicar se ou não a compensação global de movimento (GMC) vai ser utilizada na reconstrução da correspondente lâmina original 36. Se a GMC é para ser utilizada na construção da lâmina, o cabeçalho 44 inclui também informações GMC. Tal informação de GMC útil compreende ou representa a informação do vector de movimento a partir do qual os vectores de movimento para cada um dos blocos 42 da lâmina 40 podem ser reconstruídos no 10
ΕΡ 1 449 3 83/PT descodificador. Assim, todos os vectores de movimento na lâmina 40 podem ser derivados exclusivamente a partir da informação contida na lâmina 40.
Numa outra concretização útil, todas as lâminas 40 codificadas a partir de respectivas lâminas 36 do quadro de video 32, referido acima, contêm a mesma informação de GMC. Por exemplo, a informação de GMC pode compreender um conjunto codificado de vectores GM r° rx, ry e rxy acima descritos em ligação com a FIG. 1. Estes vectores são referenciados em todo o quadro de video distorcido, como mostrado na FIG. 1, e são derivados a partir dos vectores deslocamento de pixéis de canto mostrados no mesmo de acordo com as relações acima descritas. A resiliência é significativamente aumentada, pela repetição desta informação em cada lâmina codificada uma vez que a informação deve alcançar o descodificador, mesmo que algumas das lâminas se tivessem perdido no canal de transmissão. Os vectores de GM codificados poderiam ser utilizados com a interpolação bilinear, de acordo com a equação (1) estabelecida atrás, para calcular a compensação global de movimento para cada pixel contido na lâmina 40.
Numa concretização adicional, cada lâmina codificada 40 deve ter informação de GMC que compreende os vectores globais de movimento r°, rx, ry, e rxy, em que os vectores são referenciados em relação à caixa delimitadora da lâmina em vez de em relação a todo o quadro. Referindo ainda a FIG. 6, na mesma é mostrada a caixa delimitadora 46 da lâmina 40 que compreende o rectângulo mais pequeno que pode conter a lâmina. A FIG. 6 mostra os pixéis de canto 46a a 46d nos respectivos cantos da caixa delimitadora 46, especificando, neste caso, os vectores v00, vH0, vov e vHV o deslocamento dos respectivos pixéis de canto da caixa delimitadora, em vez do quadro completo. Os quatro vectores r°, rx, ry e rxy podem ser determinados a partir dos vectores de pixéis de canto por meio das mesmas relações estabelecidas atrás em ligação com H.263 para deslocamento de pixéis de canto de um quadro completo. A partir dos quatro vectores codificados para a delimitação 46, a compensação global de movimento para cada pixel contido na lâmina 40 pode ser facilmente calculado utilizando a interpolação bilinear, de acordo com a equação (1). Será facilmente evidente que nesta concretização, que as 11
ΕΡ 1 449 383/PT diferentes lâminas codificadas 40 conterão informação de GMC diferente.
Referindo a FIG. 7, na mesma é de novo mostrada lâmina codificada 40 com a caixa delimitadora 46. No entanto, são apenas mostrados dois vectores globais de movimento 48a e 48b, que são codificadas como informação de GMC para a lâmina 40. Estes vectores referem-se aos pixéis mais à esquerda e mais à direita, respectivamente, caixa delimitadora 46. A compensação global de movimento para os respectivos pixéis da lâmina 40 pode ser determinada da mesma. Para os pixéis ao longo de um eixo vertical, os vectores globais de movimento são os mesmos, enquanto que ao longo de um eixo horizontal são interpolados linearmente a partir de dois vectores globais de movimento codificados 48a e 48b.
Numa concretização adicional, toda a informação de GMC numa lâmina pode ser repetida no nível de imagem ou de quadro, tal como no cabeçalho do quadro 32.
Referindo a FIG. 8, na mesma é mostrada a sintaxe da corrente de bits da norma H.26L nos níveis de imagens e de macrobloco. Em H.26L os macroblocos de um intra-quadro têm um dos diversos modos, os quais incluem actualmente 7 intra-modos (16x16, 16x8, 8x16, 8x8, 8x4, 4x8 e 4x4), um intra-modo para 4x4 e 23 intra-modos para 16x16. Aqui NxM refere-se ao tamanho dos blocos em que o macrobloco é dividido. Para os intra-MB, cada bloco tem um MV e os intra-MB, cada bloco é previsto como uma unidade. Além disso, existe um modo de COPY, que não utiliza os coeficientes de MV. Este é o modo mais barato para o sinal. Na verdade, é utilizada a codificação que corre o comprimento para sinalizar um número de cópia macroblocos (ignorados) com uma palavra-chave. A compensação global de movimento tem sido proposta para a norma H.26L. A mesma assemelha-se à GMC utilizada no anexo P de H.263 no modo que são definidos os vectores globais de movimento. A principal diferença, no entanto, é que a imagem de referência não é amostrada de novo e que os vectores de movimento interpolados não se aplicam aos pixéis, mas em vez disso aos blocos de pixéis. O vector de movimento de um bloco 12
ΕΡ 1 449 383/PT de imagens com o seu pixel superior esquerdo como (xy) pode ser derivado como 12 ΕΡ 1 449 383/PT v(x,y) = r + H-4, r + y {V-4. ry + H-4 V-4, ,*y
Eq, (2) onde r°, rx, rv e rxy estão relacionados com os v00, vH0, vov e v™ como para o anexo P de H.263. No entanto, estes vectores de movimento aplicam a blocos de imagens composto de 4x4 pixéis. Em particular, os vectores. v00, v110, vov e vHV aplicam aos blocos de canto do quadro com os seus pixéis superiores esquerdos em (0,0), (H-4.0), (0, V-4) e (H-4, V-4), respectivamente. E proposta a codificação de vectores globais de movimento (GMVC) para H.26L para ser aplicada apenas a determinados modos de macrobloco da imagem. Se o mesmo é ou não utilizado é assinalado para cada intra-quadro no cabeçalho da imagem de uma bandeira (bandeira GMVC). Se a GMVC estiver ligada os quatro GMV r°, rx, rv e rxy seguem a bandeira. Estes são utilizados para a imagem corrente, sempre que um modo de utilização de GMVC é assinalado num macrobloco. A sintaxe proposta é mostrada na FIG. 9.
Os modos de macrobloco para os macroblocos num quadro com a GMVC permitida ter dois novos modos. O modo de COPY é substituído por GMVC_COPY e não há um modo adicional denominado GMVC_16. Ambos os modos são intra-modos 4x4, i. e. o macrobloco é dividido em blocos de imagens de 4x4 pixéis. Os vectores de movimento para cada bloco são dados pelos GMV interpolados, como dados pela fórmula atrás. Para GMVC_COPY OS coeficientes não são codificados, isto é, a imagem de referência com compensação de movimento é copiada, enquanto que para GMVC_16, os coeficientes são também adicionados.
Referindo a FIG. 10, na mesma é mostrada uma lâmina codificada 50 que compreende os macroblocos 52, em que cada macrobloco 52 é dividido em blocos de imagens de 4x4 54, de acordo com a norma H.26L. Na FIG. 10, os vectores de GM interpolados são aplicados aos blocos 4x4 54 em vez de aos pixéis. Referindo ainda a FIG. 10, na mesma são mostrados os blocos de canto 54a a 54d que têm associados os vectores 13
ΕΡ 1 449 383/PT globais de movimento 56a a 56d, que especificam os seus deslocamentos. Os blocos de canto 54a a 54d definem os cantos de uma caixa delimitadora rectangular 58 que contém a lâmina 50. Os vectores de movimento 56 a 56d são representados pela informação de GMC contida no cabeçalho 60 da lâmina 50. A partir da informação pertencente aos vectores de GM 56 a 56d, pode ser calculada a compensação global de movimento para cada um dos 54 blocos de 4x4 da lâmina 50, por meio de interpolação linear, de acordo com a equação (2) atrás.
Numa concretização adicional, a compensação global de movimento para cada um dos blocos da imagem 54 pode ser calculada a partir de dois vectores de GM codificados (não mostrados), que especificam o deslocamento dos blocos 4x4 mais à esquerda e mais à direita contidos no interior da caixa delimitadora 58. Ainda numa outra concretização, a compensação global de movimento para cada bloco 54 pode ser derivada de um único vector de GM codificado que compreende a informação de GMC contida no cabeçalho 60.
Numa outra concretização, em que uma lâmina GMC é permitida em GMC, i. e. contém um sinal que indica a informação de GMC, a informação compreende um sinal de modo COPY. Em resposta a este sinal em relação a um macrobloco particular da lâmina, o codificador copiará o macrobloco correspondente a partir da imagem de referência com compensação global de movimento, isto é, a partir do quadro distorcido, como mostrado na FIG. 1. Nesta concretização os coeficientes, que pertencem ao macrobloco, podem ou não podem ser também codificados.
Numa concretização de acordo com o presente invento se refere a como a compensação global de movimento implícita (IGMC) não explícita no vector de movimento é enviada com a lâmina codificada 40. Em vez disso, o modo COPY de macroblocos (aka SKIP) é interpretado de novo como um modo de intra-macroblocos sem coeficientes ou vectores de movimento explicitamente codificados. O vector de movimento utilizado para compensar o movimento macrobloco é previsto a partir dos blocos vizinhos. Mais especificamente, na aplicação desta concretização a um bloco de imagens particular no quadro corrente, um bloco disposto num quadro anterior, deslocado 14 ΕΡ 1 449 383/ΡΤ por um vector de movimento é copiado a partir do quadro anterior. 0 vector de movimento é previsto a partir dos blocos vizinhos no quadro corrente, ou seja, a partir de blocos que são adjacentes ou próximos do bloco de imagens particular. 0 modo IGMC pode ser utilizado para substituir o modo COPY na codificação de um bloco de imagens.
Como uma caracteristica adicional da concretização de IGMC, uma corrente de bits que representa um bloco de imagens codificado pode incluir um elemento de sintaxe que pode ser interpretado de modo a indicar uma IGMC ou o modo COPY. Uma comutação entre os modos de cópia e IGMC pode ser sinalizado implicitamente, por meio de outros elementos de código. Em alternativa, essa opção pode ser assinalada explicitamente por uma palavra de código.
Numa modificação desta concretização, um vector de movimento extra é enviado para cada lâmina, para ser utilizado na previsão do primeiro intra-bloco da lâmina.
Obviamente, são possíveis muitas outras modificações e variações do presente invento, à luz dos ensinamentos acima. É, por conseguinte, para ser entendido que, no âmbito do conceito divulgado, o invento pode ser posto em prática de outra forma que como foi descrito especificamente.
Lisboa, 2010-07-08
Claims (6)
- ΕΡ 1 449 383/ΡΤ 1/2 REIVINDICAÇÕES 1 - Método para descompressão de dados de vídeo para quadros de vídeo, que compreende uma pluralidade de blocos de imagens, em que cada bloco de imagens deve ser descodificado de acordo com um de uma pluralidade de modos de codificação, em que um da dita pluralidade de modos é um modo COPY, que implica que um bloco disposto a partir de um quadro anterior seja assinalado para ser copiado para um quadro corrente com o vector de moção de zero, caracterizado por o método compreender os passos de: - descodificação de uma corrente de bits de dados, que representa um bloco de imagens codificado de um quadro corrente, onde a corrente de bits é descodificada de acordo com um modo de IGMC, ou de acordo com o modo COPY, em que o dito modo de IGMC compreende: - a previsão de um vector de movimento a partir dos blocos de imagens vizinhos do referido quadro corrente; e - a descodificação do bloco de imagens codificado pela cópia a partir de um quadro anterior de um bloco disposto, deslocado pelo vector de movimento previsto.
- 2 - Método de acordo com a reivindicação 1, em que: uma comutação entre os referidos modos de IGMC e COPY é assinalado explicitamente por uma palavra código.
- 3 - Método de acordo com a reivindicação 3, em que: uma comutação entre os referidos modos de IGMC e COPY é assinalado implicitamente pelos elementos de código anteriormente descodificados.
- 4 - Método de acordo com a reivindicação 1, em que: a referida previsão de vector de movimento é calculada, para cada componente do vector individualmente, como a média de três vectores de movimento vizinhos. ΕΡ 1 449 383/ΡΤ 2/2
- 5 - Descodificador de vídeo para codificar de novo os quadros de vídeo, que compreende uma pluralidade de blocos de imagens, em que cada bloco de imagens deve ser descodificado de acordo com um de uma pluralidade de modos de codificação, em que um da referida pluralidade de modos é um modo COPY que implica que um bloco disposto a partir de um quadro anterior é assinalado para ser copiado para um quadro corrente com um vector de movimento de zero, caracterizado por o descodificador de vídeo compreender meios para codificar de novo uma corrente de bits de dados, que representa um bloco de imagens codificado de um quadro corrente, em que a corrente de bits de dados é descodificada de acordo com um modo de IGMC ou de acordo com o modo de cópia; em que o descodificador de vídeo compreende ainda meios para recodificação do bloco de imagens, codificado de acordo com o modo de IGMC pelo cálculo de um vector de movimento previsto pela previsão de vectores de movimento a partir dos blocos de imagens vizinhos do referido quadro corrente; e a descodificação de um bloco de imagens codificado pela cópia a partir de um quadro anterior de um bloco disposto deslocado pelo vector de movimento previsto.
- 6 - Descodificador de vídeo de acordo com a reivindicação anterior, em que o descodificador inclui meios de cálculo do referido vector de movimento previsto, para cada componente do vector individualmente, como a média de três vectores de movimento vizinhos. Lisboa, 2010-07-08
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US33497901P | 2001-11-30 | 2001-11-30 | |
US10/306,349 US20030123738A1 (en) | 2001-11-30 | 2002-11-27 | Global motion compensation for video pictures |
Publications (1)
Publication Number | Publication Date |
---|---|
PT1449383E true PT1449383E (pt) | 2010-07-15 |
Family
ID=26975113
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PT02789126T PT1449383E (pt) | 2001-11-30 | 2002-11-29 | Compensaão global de movimento para imagens de vdeo |
Country Status (16)
Country | Link |
---|---|
US (1) | US20030123738A1 (pt) |
EP (2) | EP2202981A1 (pt) |
JP (1) | JP4440640B2 (pt) |
KR (1) | KR100984612B1 (pt) |
CN (1) | CN100380973C (pt) |
AT (1) | ATE472899T1 (pt) |
AU (1) | AU2002353749B2 (pt) |
BR (1) | BRPI0214328B1 (pt) |
CA (1) | CA2467496C (pt) |
CY (1) | CY1110811T1 (pt) |
DE (1) | DE60236886D1 (pt) |
DK (1) | DK1449383T3 (pt) |
PT (1) | PT1449383E (pt) |
RU (1) | RU2307478C2 (pt) |
WO (1) | WO2003047268A2 (pt) |
ZA (1) | ZA200403131B (pt) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6819395B2 (en) * | 2002-08-30 | 2004-11-16 | Texas Instruments Incorporated | Digital cinema transport stream with embedded projector configuration data |
AU2003281133A1 (en) * | 2002-07-15 | 2004-02-02 | Hitachi, Ltd. | Moving picture encoding method and decoding method |
US7613298B2 (en) * | 2002-10-03 | 2009-11-03 | Medialive | System and process for adaptive and progressive scrambling of video streams |
CA2423896A1 (en) * | 2003-03-28 | 2004-09-28 | Norsat International Inc. | Highly integrated and compact baseband apparatus for portable newsgathering |
US20050105621A1 (en) | 2003-11-04 | 2005-05-19 | Ju Chi-Cheng | Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof |
CN1332563C (zh) * | 2003-12-31 | 2007-08-15 | 中国科学院计算技术研究所 | 一种视频图像跳过宏块的编码方法 |
EP1583367A1 (en) * | 2004-03-30 | 2005-10-05 | Matsushita Electric Industrial Co., Ltd. | Motion estimation employing line and column vectors |
CN100568974C (zh) * | 2004-09-08 | 2009-12-09 | 松下电器产业株式会社 | 动态图像编码方法及动态图像解码方法 |
US20080232477A1 (en) * | 2005-09-01 | 2008-09-25 | Koninklijke Philips Electronics, N.V. | Method and Device For Coding and Decoding of Video Error Resilience |
US20070086528A1 (en) * | 2005-10-18 | 2007-04-19 | Mauchly J W | Video encoder with multiple processors |
US8379723B2 (en) * | 2006-06-27 | 2013-02-19 | Intel Corporation | Chroma motion vector processing apparatus, system, and method |
KR101365445B1 (ko) | 2007-01-03 | 2014-02-19 | 삼성전자주식회사 | 전역 및 국부 움직임 보상을 순차적으로 이용하는 움직임보상 방법, 복호화 방법, 장치, 인코더 및 디코더 |
KR101356735B1 (ko) * | 2007-01-03 | 2014-02-03 | 삼성전자주식회사 | 전역 움직임 벡터를 사용해서 움직임 벡터를 추정하기 위한방법, 장치, 인코더, 디코더 및 복호화 방법 |
JP5294036B2 (ja) * | 2007-02-20 | 2013-09-18 | ソニー株式会社 | 画像表示装置、映像信号処理装置および映像信号処理方法 |
JP2010524383A (ja) * | 2007-04-09 | 2010-07-15 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号処理方法及び装置 |
US8374446B2 (en) | 2007-09-28 | 2013-02-12 | Vsevolod Yurievich Mokrushin | Encoding and decoding of digital signals based on compression of hierarchical pyramid |
CN101137060B (zh) * | 2007-09-30 | 2010-06-09 | 腾讯科技(深圳)有限公司 | 一种视频传输方法、***及设备 |
CN101272490B (zh) * | 2007-11-23 | 2011-02-02 | 成都三泰电子实业股份有限公司 | 具有相同背景的视频图像中出错宏块处理方法 |
US8503527B2 (en) | 2008-10-03 | 2013-08-06 | Qualcomm Incorporated | Video coding with large macroblocks |
KR101247923B1 (ko) * | 2008-10-03 | 2013-03-26 | 퀄컴 인코포레이티드 | 4×4 및 8×8 보다 큰 변환을 이용한 비디오 코딩 |
RU2550552C2 (ru) * | 2009-04-28 | 2015-05-10 | Панасоник Корпорэйшн | Способ декодирования изображений и устройство декодирования изображений |
WO2011001077A1 (fr) * | 2009-07-03 | 2011-01-06 | France Telecom | Prédiction d'un vecteur mouvement d'une partition d'image courante pointant sur une zone de référence qui recouvre plusieurs partitions d'image de référence, codage et décodage utilisant une telle prédiction |
CN101719979B (zh) * | 2009-11-27 | 2011-08-03 | 北京航空航天大学 | 基于时域定区间记忆补偿的视频对象分割方法 |
JP2011146980A (ja) * | 2010-01-15 | 2011-07-28 | Sony Corp | 画像処理装置および方法 |
WO2011115659A1 (en) * | 2010-03-16 | 2011-09-22 | Thomson Licensing | Methods and apparatus for implicit adaptive motion vector predictor selection for video encoding and decoding |
CN101867816A (zh) * | 2010-05-10 | 2010-10-20 | 南京邮电大学 | 一种基于人眼视觉特性的立体视频非对称压缩编码方法 |
JP2012151663A (ja) * | 2011-01-19 | 2012-08-09 | Toshiba Corp | 立体音響生成装置及び立体音響生成方法 |
JP5875236B2 (ja) * | 2011-03-09 | 2016-03-02 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
JP5629642B2 (ja) * | 2011-05-19 | 2014-11-26 | 株式会社ソニー・コンピュータエンタテインメント | 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法 |
WO2013061551A1 (ja) * | 2011-10-27 | 2013-05-02 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
CN103688545B (zh) | 2011-10-28 | 2017-05-10 | 太阳专利托管公司 | 图像编码方法、图像解码方法、图像编码装置及图像解码装置 |
WO2013061549A1 (ja) | 2011-10-28 | 2013-05-02 | パナソニック株式会社 | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
KR101789954B1 (ko) * | 2013-12-27 | 2017-10-25 | 인텔 코포레이션 | 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측 |
EP3103259A4 (en) * | 2014-03-13 | 2017-11-01 | Huawei Technologies Co., Ltd. | Improved method for screen content coding |
CN106658019B (zh) | 2015-10-31 | 2019-11-12 | 华为技术有限公司 | 参考帧编解码的方法与装置 |
US11082713B2 (en) * | 2015-11-20 | 2021-08-03 | Mediatek Inc. | Method and apparatus for global motion compensation in video coding system |
JP2017103744A (ja) * | 2015-12-04 | 2017-06-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置 |
US10560712B2 (en) * | 2016-05-16 | 2020-02-11 | Qualcomm Incorporated | Affine motion prediction for video coding |
CN110493599B (zh) * | 2019-07-05 | 2021-10-26 | 西安万像电子科技有限公司 | 图像识别方法及装置 |
CN116684668B (zh) * | 2023-08-03 | 2023-10-20 | 湖南马栏山视频先进技术研究院有限公司 | 一种自适应的视频帧处理方法及播放终端 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5828786A (en) * | 1993-12-02 | 1998-10-27 | General Instrument Corporation | Analyzer and methods for detecting and processing video data types in a video data stream |
US5592226A (en) * | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
US5506624A (en) * | 1994-07-28 | 1996-04-09 | Silicon Graphics, Inc. | Rotating sample of video images |
US6205178B1 (en) * | 1996-09-20 | 2001-03-20 | Hitachi, Ltd. | Method and synthesizing a predicted image, video coding device and video coding method |
EP1809044B1 (en) * | 1997-02-14 | 2008-10-01 | Nippon Telegraph and Telephone Corporation | Predictive decoding method of video data |
JP2001526859A (ja) * | 1997-05-16 | 2001-12-18 | ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク | ワールドワイドウェブ上の圧縮映像の指示及び編集方法及びアーキテクチュア |
KR19990008977A (ko) * | 1997-07-05 | 1999-02-05 | 배순훈 | 윤곽선 부호화 방법 |
JP2000278692A (ja) * | 1999-03-25 | 2000-10-06 | Victor Co Of Japan Ltd | 圧縮データ処理方法及び処理装置並びに記録再生システム |
WO2000070879A1 (en) * | 1999-05-13 | 2000-11-23 | Stmicroelectronics Asia Pacific Pte Ltd. | Adaptive motion estimator |
US7050500B2 (en) * | 2001-08-23 | 2006-05-23 | Sharp Laboratories Of America, Inc. | Method and apparatus for motion vector coding with global motion parameters |
BR0304565A (pt) * | 2002-03-15 | 2004-12-07 | Nokia Corp | Método de predição de movimento compensado para uso na codificação da sequência de vìdeo digital, codificador e decodificador de vìdeo para codificar/decodificar uma sequência de vìdeo digital usando predição de movimento compensado, terminal de miltimìdia, e, codec de vìdeo |
-
2002
- 2002-11-27 US US10/306,349 patent/US20030123738A1/en not_active Abandoned
- 2002-11-29 EP EP10153165A patent/EP2202981A1/en not_active Withdrawn
- 2002-11-29 PT PT02789126T patent/PT1449383E/pt unknown
- 2002-11-29 AU AU2002353749A patent/AU2002353749B2/en not_active Expired
- 2002-11-29 KR KR1020047008210A patent/KR100984612B1/ko active IP Right Grant
- 2002-11-29 JP JP2003548549A patent/JP4440640B2/ja not_active Expired - Lifetime
- 2002-11-29 EP EP02789126A patent/EP1449383B1/en not_active Expired - Lifetime
- 2002-11-29 DE DE60236886T patent/DE60236886D1/de not_active Expired - Lifetime
- 2002-11-29 WO PCT/SE2002/002206 patent/WO2003047268A2/en active Application Filing
- 2002-11-29 AT AT02789126T patent/ATE472899T1/de active
- 2002-11-29 CN CNB028234960A patent/CN100380973C/zh not_active Expired - Lifetime
- 2002-11-29 RU RU2004119839/09A patent/RU2307478C2/ru active
- 2002-11-29 BR BRPI0214328A patent/BRPI0214328B1/pt active IP Right Grant
- 2002-11-29 CA CA2467496A patent/CA2467496C/en not_active Expired - Lifetime
- 2002-11-29 DK DK02789126.6T patent/DK1449383T3/da active
-
2004
- 2004-04-23 ZA ZA2004/03131A patent/ZA200403131B/en unknown
-
2010
- 2010-09-30 CY CY20101100878T patent/CY1110811T1/el unknown
Also Published As
Publication number | Publication date |
---|---|
CA2467496A1 (en) | 2003-06-05 |
RU2004119839A (ru) | 2005-03-27 |
EP2202981A1 (en) | 2010-06-30 |
JP4440640B2 (ja) | 2010-03-24 |
DK1449383T3 (da) | 2010-09-27 |
ZA200403131B (en) | 2005-06-29 |
EP1449383B1 (en) | 2010-06-30 |
BRPI0214328B1 (pt) | 2016-05-17 |
BR0214328A (pt) | 2004-11-03 |
CA2467496C (en) | 2013-10-01 |
WO2003047268A3 (en) | 2003-10-09 |
AU2002353749B2 (en) | 2007-11-08 |
RU2307478C2 (ru) | 2007-09-27 |
ATE472899T1 (de) | 2010-07-15 |
KR100984612B1 (ko) | 2010-09-30 |
WO2003047268A2 (en) | 2003-06-05 |
CY1110811T1 (el) | 2015-06-10 |
US20030123738A1 (en) | 2003-07-03 |
JP2005510983A (ja) | 2005-04-21 |
AU2002353749A1 (en) | 2003-06-10 |
CN1633812A (zh) | 2005-06-29 |
DE60236886D1 (de) | 2010-08-12 |
CN100380973C (zh) | 2008-04-09 |
KR20040062660A (ko) | 2004-07-07 |
EP1449383A2 (en) | 2004-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
PT1449383E (pt) | Compensaão global de movimento para imagens de vdeo | |
JP4703449B2 (ja) | 符号化方法 | |
US7310371B2 (en) | Method and/or apparatus for reducing the complexity of H.264 B-frame encoding using selective reconstruction | |
Hannuksela et al. | Isolated regions in video coding | |
KR101662139B1 (ko) | 고효율 비디오 코딩을 위한 움직임 정보의 효율적인 저장 | |
EP1469681A1 (en) | Image coding method and apparatus and image decoding method and apparatus | |
Baccichet et al. | Frame concealment for H. 264/AVC decoders | |
US7961788B2 (en) | Method and apparatus for video encoding and decoding, and recording medium having recorded thereon a program for implementing the method | |
JP2006279573A (ja) | 符号化装置と方法、ならびに復号装置と方法 | |
JP2007266749A (ja) | 符号化方法 | |
US10171807B2 (en) | Picture-level QP rate control for HEVC encoding | |
JP2004527981A (ja) | 予測タイプの選択によるビデオデータブロックのイントラ符号化 | |
CN113225558B (zh) | 平滑定向和dc帧内预测 | |
Kolkeri | Error concealment techniques in H. 264/AVC, for video transmission over wireless networks | |
ES2348123T3 (es) | Compensación de movimiento global para imágenes de video. | |
AU2007219272B2 (en) | Global motion compensation for video pictures | |
Cheung et al. | Reference picture selection in an already MPEG encoded bitstream |