BR112012023322B1 - dispositivo de codificação preditiva de imagem em movimento, método de codificação preditiva de imagem em movimento, dispositivo de decodificação preditiva de imagem em movimento e método de decodificação preditiva de imagem em movimento - Google Patents
dispositivo de codificação preditiva de imagem em movimento, método de codificação preditiva de imagem em movimento, dispositivo de decodificação preditiva de imagem em movimento e método de decodificação preditiva de imagem em movimento Download PDFInfo
- Publication number
- BR112012023322B1 BR112012023322B1 BR112012023322A BR112012023322A BR112012023322B1 BR 112012023322 B1 BR112012023322 B1 BR 112012023322B1 BR 112012023322 A BR112012023322 A BR 112012023322A BR 112012023322 A BR112012023322 A BR 112012023322A BR 112012023322 B1 BR112012023322 B1 BR 112012023322B1
- Authority
- BR
- Brazil
- Prior art keywords
- image
- display order
- information
- random access
- decoding
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 144
- 230000033001 locomotion Effects 0.000 title abstract description 27
- 230000015654 memory Effects 0.000 claims abstract description 140
- 230000008569 process Effects 0.000 claims description 59
- 238000012545 processing Methods 0.000 description 82
- 238000007726 management method Methods 0.000 description 32
- 230000007547 defect Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000002457 bidirectional effect Effects 0.000 description 8
- 230000007257 malfunction Effects 0.000 description 7
- 230000003111 delayed effect Effects 0.000 description 5
- 238000013277 forecasting method Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 101100179739 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) IMA5 gene Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
dispositivo de codificação preditiva de imagem em movimento, método de codificação preditiva de imagem em movimento, programa de codificação preditiva de imagem em movimento, dispositivo de decodificação preditiva de imagem em movimento, método de decodificação preditiva de imagem em movimento, e programa de decodificação preditiva de imagem em movimento. a presente invenção refere-se ao fornecimento de um dispositivo de codificação preditiva de vídeo com um dispositivo de codificação que codifica cada imagem de uma pluralidade de imagens de entrada para gerar os dados de imagem comprimida incluindo uma imagem de acesso aleatório, e que codifica os dados acerca de informações sobre a odem de exibição de cada imagem; um dispositivo de restauração que codifica os dados da imagem comprimida para restaurar uma imagem reproduzida; um dispositivo de armazenamento de imagem que armazena a imagem reproduzida como uma imagem de referência; e um dispositivo de gerenciamento de memória que controla o dispositivo de armazenamento da imagem de acesso aleatório, o dispositivo de gerenciamento da memória atualiza o dispositivo de armazenamento da imagem definindo cada imagem de referência no dispositivo de armazenamento da imagem, salvo para a imagem de acesso aleatório, como desnecessárias, imediatamente antes ou imediatamente depois da codificação de uma imagem com informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório.
Description
(54) Título: DISPOSITIVO DE CODIFICAÇÃO PREDITIVA DE IMAGEM EM MOVIMENTO, MÉTODO DE CODIFICAÇÃO PREDITIVA DE IMAGEM EM MOVIMENTO, DISPOSITIVO DE DECODIFICAÇÃO PREDITIVA DE IMAGEM EM MOVIMENTO E MÉTODO DE DECODIFICAÇÃO PREDITIVA DE IMAGEM EM MOVIMENTO (51) Int.CI.: H04N 19/573; H04N 19/107; H04N 19/172; H04N 19/423; H04N 19/61 (30) Prioridade Unionista: 17/03/2010 JP 2010-061337 (73) Titular(es): NTT DOCOMO, INC.
(72) Inventor(es): CHOONG SENG BOON; YOSHINORI SUZUKI; AKIRA FUJIBAYASHI; THIOW KENG TAN (85) Data do Início da Fase Nacional: 14/09/2012
1/39
DISPOSITIVO DE CODIFICAÇÃO PREDITIVA DE IMAGEM EM MOVIMENTO, MÉTODO DE CODIFICAÇÃO PREDITIVA DE IMAGEM EM MOVIMENTO, DISPOSITIVO DE DECODIFICAÇÃO PREDITIVA DE IMAGEM EM MOVIMENTO E MÉTODO DE DECODIFICAÇÃO PREDITIVA DE IMA5 GEM EM MOVIMENTO Campo Técnico
A presente invenção refere-se a um dispositivo, método, e programa de codificação preditiva de vídeo, e a um dispositivo, método, e programa de decodificação preditiva de vídeo.
Técnica Anterior
As tecnologias de codificação de compressão são utilizadas para a transmissão e armazenamento eficientes de dados de vídeo. Os sistemas MPEG1 a MPEG4 e H.261 a H.264 são amplamente utilizados para vídeos.
Nesses sistemas de codificação, uma imagem como um alvo de 15 codificação é dividido em uma pluralidade de blocos e cada bloco é submetido a um processo de codificação/decodificação. Os métodos de codificação preditiva como descritos abaixo são utilizados para melhorar a eficiência de codificação. Na codificação preditiva intraquadro, um sinal previsto é codificado. O sinal previsto é gerado por meio de um sinal de imagem previamen20 te reproduzido adjacente (sinal de imagem restaurado a partir dos dados de imagem previamente codificados) no mesmo quadro como um bloco alvo e um sinal de diferença obtido pela subtração do sinal previsto de um sinal do bloco alvo. Na codificação preditiva entrequadros, é realizada uma pesquisa por um sinal de deslocamento com referência a um sinal de imagem previa25 mente reproduzido em um quadro diferente de um bloco alvo. Um sinal previsto é gerado com compensação para o sinal de deslocamento identificado na pesquisa, e um sinal de diferença obtido pela subtração do sinal previsto do sinal do bloco alvo é codificado. O sinal de imagem previamente reproduzido utilizado como a referência para a pesquisa de movimento e compensa30
Petição 870180025957, de 29/03/2018, pág. 14/60
2/39 ção é chamado imagem de referência.
Na previsão entrequadros bidirecional, a referência pode ser feita não somente para as imagens passadas que serão exibidas antes de uma imagem alvo na ordem do tempo de exibição, mas também para imagens futuras que serão exibidas depois da imagem alvo (desde que as imagens futuras precisem ser codificadas antes da imagem alvo e sejam preliminarmente reproduzidas). Em seguida, é obtida a média de um sinal previsto adquirido de uma imagem passada e de um sinal previsto adquirido de uma imagem futura, o que produz como efeito permitir a previsão efetiva para um sinal de um objeto recém-surgido, e reduzir o ruído incluído nos dois sinais previstos.
Ademais, na codificação preditiva entrequadros de H.264, é produzido um sinal previsto para um bloco alvo com referência a uma pluralidade de imagens de referência previamente codificadas e reproduzidas, e um sinal da imagem com o menor erro é selecionado como um sinal previsto ideal pela pesquisa de movimento. Então, calcula-se uma diferença entre um sinal de pixel do bloco alvo e este sinal previsto ideal, e a diferença é submetida à transformada discreta de cosseno, quantização, e codificação por entropia. Ao mesmo tempo, uma parte da informação de uma imagem de referência da qual é adquirido o sinal previsto ideal para o bloco alvo (índice de referência) e uma parte da informação de uma região na imagem de referência da qual é adquirido o sinal previsto ideal (vetor de movimento) também são codificadas em conjunto. Em H.264, quatro ou cinco imagens reproduzidas são armazenadas como imagens de referência em uma memória do quadro. No presente relatório descritivo, presume-se que a memória do quadro inclua um chamado buffer da imagem reproduzida (buffer da imagem decodificada).
A codificação preditiva entrequadros permite a codificação de compressão eficiente beneficiando-se da correlação entre imagens, mas a dependência entrequadros é eliminada, para permitir a visualização a partir do meio de um programa de vídeo, exatamente como pode ocorrer quando um observador está comutando os canais de TV. Um ponto sem dependên3/39 cia entrequadros em um fluxo de bits comprimido de uma sequência de vídeo daqui por diante será denominado ponto de acesso aleatório. Além da comutação dos canais de TV, os pontos de acesso aleatório também são necessários nos casos de edição de uma sequência de vídeo e união dos dados comprimidos de sequências de vídeo diferentes. Em H.264, as imagens de IDR são designadas, as imagens de atualização de decodificação instantânea (IDR) designadas são codificadas pelo método de codificação preditiva intraquadro já mencionado, e ao mesmo tempo, as imagens reproduzidas armazenadas na memória do quadro são definidas conforme desnecessárias, de modo que as imagens reproduzidas não são utilizadas para as imagens de referência, liberando substancialmente a memória do quadro (ou atualizando a memória do quadro). Este processo é chamado atualização da memória e também é chamado atualização da memória do quadro ou atualização do buffer em alguns casos.
Afigura 11 (A) é um diagrama esquemático mostrando uma estrutura de previsão de um vídeo em movimento que inclui uma imagem de IDR. Uma pluralidade de imagens 901, 902, ..., 909 mostrada na figura 11 (A) são parte de uma série de imagens que constituem uma sequência de vídeo. Cada imagem também é chamada uma imagem ou quadro. Cada seta indica uma direção de previsão. Por exemplo, para a imagem 902, é adquirido um sinal previsto usando as imagens 903, 905 como imagens de referência como indicado pelos pontos de partida de duas setas dirigidas à imagem 902. Presume-se que a imagem 901 na figura 11 (A) seja codificada com referência às imagens passadas não mostradas na figura 11 (A). Em seguida, as imagens 902, 903, e 904 são codificadas usando o método de codificação preditiva bidirecional citado para aumentar as taxas de compressão. Especificamente, a imagem 905 é primeiramente codificada e reproduzida e então a imagem 903 é codificada com referência às imagens previamente reproduzidas 901 e 905 (uma seta oriunda da imagem 901 é omitida na figura 11 (A)). Depois disso, cada uma das imagens 902 e 904 são codificadas usando as três imagens reproduzidas 901, 905, e 903 como imagens de referência (uma seta oriunda da imagem 901 é omitida na figura 11 (A)).
4/39
Do mesmo modo, as imagens 906, 907, e 908 são codificadas com referência às imagens 905 e 909. Os dados comprimidos das imagens que estão codificadas (ou comprimidas) dessa maneira são transmitidos ou armazenados na ordem descrita na figura 11 (B). A correspondência ou relação entre os dados comprimidos na figura 11 (B) e as imagens na figura 11 (A) é indicada por identificadores comuns, tais como P1, 1DR5, e B3. Por exemplo, os dados comprimidos 910 são os dados comprimidos da imagem 901 denotada pelo mesmo identificador P1, e os dados comprimidos 911 são os dados comprimidos da imagem 905 denotada pelo mesmo identificador IDR5.
No tocante ao acesso aleatório, é considerado um caso em que a codificação preditiva intraquadro é realizada ao mesmo tempo em que a imagem 905 é designada como uma imagem de IDR. Nesse caso, de acordo com a regra de IDR em H.264, imediatamente depois da reprodução da imagem 905 pela decodificação dos dados comprimidos 911 (ou possivelmente imediatamente antes do início da decodificação dos dados comprimidos 911), todas as imagens de referência armazenadas na memória do quadro (isto é, as imagens passadas reproduzidas que incluem a imagem 901) são definidas como desnecessárias para que não sejam utilizadas como imagens de referência. Como resultado, a imagem 901 na figura 11 (A) é proibida de ser uma imagem de referência, e permanece indisponível para referência na codificação das imagens 902, 903, e 904. O processamento associado à imagem de IDR como discutido acima é descrito, por exemplo, Na Literatura de Não Patente 1 abaixo.
Lista de Citação
Literatura de Patente
Literatura de Patente 1: Publicação Internacional W02005/006763A1
Literatura de Não Patente
Literatura de Não Patente 1: lain E.G. Richardson, H.264 and MPEG-4 Video Compression, John Wiley & Sons, 2003, seção 6.4.2.
Sumário da Invenção
Problema Técnico
Como a introdução das imagens de IDR leva à eliminação das
5/39 imagens de referência disponíveis para uso na previsão precedente, a codificação eficiente das imagens antes de uma imagem de IDR na ordem de exibição das imagens (as imagens 902, 903, e 904 no exemplo da figura 11 (A)) não é viável. Para solucionar esse problema, a Literatura de Patente 1 revela um método para retardar o tempo de atualização da memória do quadro (isto é, o tempo para definir as imagens de referência na memória do quadro como desnecessárias) até a execução da codificação de uma imagem que será codificada depois de ocorrer a imagem de IDR. Quando o tempo de atualização da memória do quadro é retardado, a imagem 901 permanece na memória do quadro no tempo de execução de codificação das imagens 902, 903, e 904 na figura 11 (A), e, portanto, a referência para a imagem 901 está disponível durante a codificação das imagens 902, 903, e 904, para permitir uma codificação eficiente.
A Literatura de Patente 1 revela os métodos descritos abaixo, como métodos de atraso do tempo de atualização da memória.
Método 1: adiciona informações sobre o número de imagens que serão atrasadas, a cada imagem de IDR.
Método 2: adiciona aos dados comprimidos de cada imagem um sinal que instrui a execução de atualização da memória (sinalizador), o sinal correspondendo ao tempo de execução da atualização da memória.
Método 3: define uma imagem P (imagem prevista unidirecional) que surge em primeiro lugar depois de cada imagem de IDR, como tempo de atualização.
No entanto, os métodos citados exibem os seguintes defeitos.
Defeito 1: o método 1 acima é inconveniente na edição de uma sequência de vídeo, pois algumas imagens dentre uma pluralidade de imagens são descartadas e outras imagens são acrescentadas ou inseridas, tornando impróprias as informações sobre o número de imagens que serão atrasadas que são adicionadas a cada imagem de IDR, gerando mau funcionamento.
Defeito 2: o método 2 acima também é inconveniente pelo fato de que, no caso de ser utilizado o sinalizador, se os dados comprimidos de
6/39 uma imagem correspondente forem excluídos pela edição da sequência de vídeo, o sinalizador adicionado aos dados comprimidos excluídos é perdido, gerando mau funcionamento.
Defeito 3: o método 3 acima é inconveniente pelo fato de que com o sinal (disparo) de atualização da memória é limitado às imagens P, a codificação usando outros métodos se torna indisponível. Por exemplo, uma imagem em uma mudança de cenário não pode ser codificada pela previsão intraquadro (imagem I).
O mau funcionamento como aqui discutido significa que uma falha na execução de atualização da memória no tempo apropriado gera um estado em que não há imagem de referência necessária para decodificação dos dados subsequentes na memória do quadro e, como consequência, uma imagem subsequente não pode ser reproduzida corretamente.
A presente invenção tem o objetivo de solucionar o problema citado, de modo a obter a codificação de compressão eficiente das imagens antes e depois de uma imagem em um ponto de acesso aleatório e simultaneamente solucionar os inconvenientes associados aos defeitos da tecnologia convencional.
Solução para o Problema
Para alcançar o objetivo acima, um dispositivo de codificação preditiva de vídeo de acordo com uma modalidade da presente invenção é um dispositivo de codificação preditiva de vídeo compreendendo: meio de entrada, que aceita a entrada de uma pluralidade de imagens que constituem uma sequência de vídeo; meio de codificação que codifica cada uma das imagens de entrada por um método de previsão intraquadro ou de previsão entrequadro para gerar os dados da imagem comprimida incluindo uma imagem de acesso aleatório que atua como uma imagem de acesso aleatório, e que codifica os dados acerca de informações sobre a ordem de exibição de cada uma das imagens; meio de restauração que decodifica os dados da imagem comprimida assim gerados, para restaurar uma imagem reproduzida; meio de armazenamento da imagem que armazena a imagem reproduzida assim restaurada, como uma imagem de referência que será utilizada
7/39 para codificação de uma imagem subsequente; e meio de gerenciamento da memória que controla o meio de armazenamento da imagem, em que, depois de concluído um processo de codificação de geração da imagem de acesso aleatório, o meio de gerenciamento da memória atualiza o meio de armazenamento da imagem definindo cada imagem de referência armazenada no meio de armazenamento da imagem, salvo para a imagem de acesso aleatório qualificada como desnecessária imediatamente antes ou imediatamente depois de primeiramente codificar uma imagem com informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório.
Durante a codificação das informações sobre a ordem de exibição de pelo menos um alvo de codificação que inclui uma imagem que tem informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório e se toma o primeiro alvo de codificação depois da conclusão do processo de codificação de geração da imagem de acesso aleatório, o meio de codificação pode codificar um valor de diferença entre as informações sobre a ordem de exibição de pelo menos um alvo de codificação e as informações sobre a ordem de exibição da imagem de acesso aleatório.
Durante a codificação das informações sobre a ordem de exibição de cada imagem em uma sequência de uma imagem que se torna o alvo de codificação seguinte depois da imagem de acesso aleatório, para uma imagem contendo informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório e que se torna o primeiro alvo de codificação depois da conclusão do processo de codificação de geração da imagem de acesso aleatório, o meio de codificação pode codificar um valor de diferença entre as informações sobre a ordem de exibição de cada imagem e as informações sobre a ordem de exibição da imagem de acesso aleatório.
Um dispositivo de decodificação preditiva de vídeo de acordo com uma modalidade da presente invenção é um dispositivo de decodificação preditiva de vídeo compreendendo: meio de entrada que aceita a entra8/39 da de dados da imagem comprimida que inclui uma imagem de acesso aleatório que atua como uma imagem de acesso aleatório, que que foi obtida codificando cada imagem de uma pluralidade de imagens que constituem uma sequência de vídeo por um método de previsão intraquadro ou de previsão entrequadro, e dados codificados da ordem de exibição obtidos pela codificação dos dados que fornecem informações sobre a ordem de exibição de cada uma das imagens; meio de restauração que decodifica os dados da imagem comprimida para restaurar uma imagem reproduzida e que decodifica os dados codificados da ordem de exibição para restaurar as informações sobre sua ordem de exibição; meio de armazenamento da imagem que armazena a imagem reproduzida assim restaurada, como uma imagem de referência que será utilizada para decodificação de uma imagem subsequente; e meio de gerenciamento da memória que controla o meio de armazenamento da imagem, em que, depois da conclusão de um processo de decodificação para decodificação da imagem de acesso aleatório, o meio de gerenciamento da memória atualiza o meio de armazenamento da imagem definindo cada imagem de referência armazenada no meio de armazenamento da imagem, salvo para a imagem de acesso aleatório decodificada como desnecessária imediatamente antes ou imediatamente depois de decodificar primeiramente uma imagem contendo informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório.
Durante a decodificação de informações sobre a ordem de exibição de pelo menos uma imagem alvo de decodificação que tem informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório e que se torna o primeiro alvo de decodificação depois da conclusão do processo de decodificação para decodificação da imagem de acesso aleatório, o meio de restauração pode restaurar as informações sobre a ordem de exibição da imagem alvo de decodificação adicionando um valor de diferença às informações sobre a ordem de exibição da imagem de acesso aleatório. O valor da diferença pode representar uma diferença entre as informações sobre a ordem de exibição da
9/39 imagem alvo de decodificação e as informações sobre a ordem de exibição da imagem de acesso aleatório. As informações sobre a ordem de exibição da imagem alvo de decodificação podem ser obtidas decodificando os dados codificados da ordem de exibição da imagem alvo de decodificação.
Durante a decodificação de informações sobre a ordem de exibição de cada imagem em uma sequência de uma imagem que se toma um alvo de decodificação seguinte depois da imagem de acesso aleatório, para uma imagem contendo informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório, e que se torna o primeiro alvo de decodificação depois da conclusão de um . processo de decodificação de geração da imagem de acesso aleatório, o meio de restauração pode restaurar as informações sobre a ordem de exibição de cada imagem adicionando um valor de diferença às informações sobre a ordem de exibição da imagem de acesso aleatório. O valor da diferença pode representar uma diferença entre as informações sobre a ordem de exibição de cada imagem e as informações sobre a ordem de exibição da imagem de acesso aleatório. As informações sobre a ordem de exibição de cada imagem podem ser obtidas pela decodificação dos dados codificados da ordem de exibição de cada imagem.
Um método de codificação preditiva de vídeo de acordo com uma modalidade da presente invenção é um método de codificação preditiva de vídeo que será executado por um dispositivo de codificação preditiva de vídeo com meio de armazenamento da imagem para armazenar uma imagem de referência que será utilizada para codificação de uma imagem subsequente, compreendendo: uma etapa de entrada para aceitar a entrada de uma pluralidade de imagens que constituem uma sequência de vídeo; uma etapa de codificação para codificar cada uma das imagens de entrada por um método de previsão intraquadro ou de previsão entrequadro para gerar os dados da imagem comprimida incluindo uma imagem de acesso aleatório que atua como uma imagem de acesso aleatório, e codificar os dados acerca de informações sobre a ordem de exibição de cada uma das imagens; uma etapa de restauração para decodificar os dados da imagem comprimida
10/39 assim gerados, para restaurar uma imagem reproduzida; uma etapa de armazenamento da imagem para armazenar a imagem reproduzida assim restaurada, como uma imagem de referência que será utilizada para codificação de uma imagem subsequente; e uma etapa de gerenciamento da memória para controlar o meio de armazenamento da imagem, em que, depois de concluído um processo de codificação de geração da imagem de acesso aleatório, na etapa de gerenciamento da memória, o dispositivo de codificação preditiva de vídeo atualiza o meio de armazenamento da imagem definindo cada imagem de referência armazenada no meio de armazenamento da imagem, salvo para a imagem de acesso aleatório, como desnecessária, imediatamente antes ou imediatamente depois da codificação de uma imagem contendo informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório.
Na etapa de codificação, o dispositivo de codificação preditiva de vídeo pode codificar um valor de diferença. O valor da diferença pode ser codificado como informações que fornecem dados sobre a ordem de exibição de pelo menos uma imagem alvo de codificação. Pelo menos essa única imagem alvo de codificação pode ter informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório e pode se tornar a primeira imagem alvo de codificação depois da conclusão do processo de codificação de geração da imagem de acesso aleatório. O valor da diferença pode representar uma diferença entre as informações sobre a ordem de exibição da imagem alvo de codificação e as informações sobre a ordem de exibição da imagem de acesso aleatório.
Na etapa de codificação, durante a codificação de cada imagem em uma sequência de uma imagem que se torna um alvo de codificação seguinte depois da imagem de acesso aleatório, para uma imagem que tem informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório, e se torna o primeiro alvo de codificação depois da conclusão do processo de codificação de geração da imagem de acesso aleatório, o dispositivo de codificação preditiva de vídeo pode codificar um valor de diferença. O valor da diferença pode ser codi11/39 ficado como informações que fornecem dados sobre a ordem de exibição de cada imagem. O valor da diferença pode representar uma diferença entre as informações sobre a ordem de exibição de cada imagem e as informações sobre a ordem de exibição da imagem de acesso aleatório.
Um método de decodificação preditiva de vídeo de acordo com uma modalidade da presente invenção é um método de decodificação preditiva de vídeo que será executado por um dispositivo de decodificação preditiva de vídeo com meio de armazenamento da imagem para armazenar uma imagem de referência que será utilizada para decodificação de uma imagem subsequente, compreendendo: uma etapa de entrada para aceitar a entrada dos dados da imagem comprimida incluindo uma imagem de acesso aleatório que atua como uma imagem de acesso aleatório, que foi obtida codificando cada imagem de uma pluralidade de imagens que constituem uma sequência de vídeo por um método de previsão intraquadro ou de previsão entrequadro, e dados codificados da ordem de exibição obtidos codificando os dados acerca de informações sobre a ordem de exibição de cada uma das imagens; uma etapa de restauração para decodificar os dados da imagem comprimida para restaurar uma imagem reproduzida e decodificar os dados codificados da ordem de exibição para restaurar as informações sobre a ordem de exibição; uma etapa de armazenamento da imagem para armazenar a imagem reproduzida assim restaurada, como uma imagem de referência que será utilizada para decodificação de uma imagem subsequente, no meio de armazenamento da imagem; e uma etapa de gerenciamento da memória para controlar o meio de armazenamento da imagem, em que, depois da conclusão de um processo de decodificação para decodificação da imagem de acesso aleatório, na etapa de gerenciamento da memória, o dispositivo de decodificação preditiva de vídeo atualiza o meio de armazenamento da imagem definindo cada imagem de referência armazenada no meio de armazenamento da imagem, salvo para a imagem de acesso aleatório qualificada como desnecessária, imediatamente antes ou imediatamente depois da decodificação de uma imagem que tem informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição
12/39 da imagem de acesso aleatório.
Na etapa de restauração, para as informações sobre a ordem de exibição de pelo menos um alvo de decodificação que inclui uma imagem que tem informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório e que se torna o primeiro alvo de decodificação depois da conclusão do processo de decodificação para decodificação da imagem de acesso aleatório, o dispositivo de decodificação preditiva de vídeo pode restaurar as informações sobre a ordem de exibição da imagem alvo de decodificação adicionando um valor de diferença às informações sobre a ordem de exibição da imagem de acesso aleatório. O valor da diferença pode representar uma diferença entre as informações sobre a ordem de exibição da imagem alvo de decodificação e as informações sobre a ordem de exibição da imagem de acesso aleatório. As informações sobre a ordem de exibição da imagem alvo de decodificação podem ser obtidas pela decodificação dos dados codificados da ordem de exibição da imagem alvo de decodificação.
Na etapa de restauração, durante a decodificação das informações sobre a ordem de exibição de cada imagem em uma sequência de uma imagem que se toma um alvo de decodificação seguinte depois da imagem de acesso aleatório, para uma imagem contendo informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório e que se torna o primeiro alvo de decodificação depois da conclusão de um processo de decodificação de geração da imagem de acesso aleatório, o dispositivo de decodificação preditiva de vídeo pode restaurar as informações sobre a ordem de exibição de cada imagem adicionando um valor de diferença às informações sobre a ordem de exibição da imagem de acesso aleatório. O valor da diferença pode representar uma diferença entre as informações sobre a ordem de exibição de cada imagem e as informações sobre a ordem de exibição da imagem de acesso aleatório. As informações sobre a ordem de exibição de cada imagem podem ser obtidas pela decodificação dos dados codificados da ordem de exibição de cada imagem.
Um programa de codificação preditiva de vídeo de acordo com
13/39 uma modalidade da presente invenção é um programa de codificação preditiva de vídeo para permitir a um computador operar como: meio de entrada que aceita a entrada de uma pluralidade de imagens que constituem uma sequência de vídeo; meio de codificação que codifica cada uma das imagens de entrada por um método de previsão intraquadro ou de previsão entrequadro para gerar os dados da imagem comprimida incluindo uma imagem de acesso aleatório que atua como uma imagem de acesso aleatório, e que codifica dados acerca de informações sobre a ordem de exibição de cada uma das imagens; meio de restauração que decodifica os dados da imagem comprimida assim gerados, para restaurar uma imagem reproduzida; meio de armazenamento da imagem que armazena a imagem reproduzida assim restaurada, como uma imagem de referência que será utilizada para codificação de uma imagem subsequente; e meio de gerenciamento da memória que controla o meio de armazenamento da imagem, em que, depois da conclusão de um processo de codificação de geração da imagem de acesso aleatório, o meio de gerenciamento da memória atualiza o meio de armazenamento da imagem definindo cada imagem de referência armazenada no meio de armazenamento da imagem, salvo para a imagem de acesso aleatório qualificada como desnecessária, imediatamente antes ou imediatamente depois da codificação de uma imagem com informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório.
Um programa de decodificação preditiva de vídeo de acordo com uma modalidade da presente invenção é um programa de decodificação preditiva de vídeo para permitir a um computador operar como: meio de entrada que aceita a entrada de dados da imagem comprimida que inclui uma imagem de acesso aleatório que atua como uma imagem de acesso aleatório, que que foi obtida codificando cada imagem de uma pluralidade de imagens que constituem uma sequência de vídeo, por um método de previsão intraquadro ou de previsão entrequadro, e dados codificados da ordem de exibição obtidos codificando os dados acerca de informações sobre a ordem de exibição de cada uma das imagens; meio de restauração que decodifica
14/39 os dados da imagem comprimida para restaurar uma imagem reproduzida e que decodifica os dados codificados da ordem de exibição para restaurar as informações sobre a ordem de exibição; meio de armazenamento da imagem que armazena a imagem reproduzida assim restaurada, como uma imagem de referência que será utilizada para decodificação de uma imagem subsequente; e meio de gerenciamento da memória que controla o meio de armazenamento da imagem, em que, depois da conclusão de um processo de decodificação para decodificação da imagem de acesso aleatório, o meio de gerenciamento da memória atualiza o meio de armazenamento da imagem definindo cada imagem de referência armazenada no meio de armazenamento da imagem, salvo para a imagem de acesso aleatório qualificada como desnecessária, imediatamente antes ou imediatamente depois da decodificação de uma imagem com informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório.
A presente invenção conforme a descrição acima realiza a codificação da compressão eficiente das imagens antes e depois de uma imagem que é um ponto de acesso aleatório e, ao mesmo tempo, resolve os inconvenientes associados aos defeitos da tecnologia convencional.
Efeitos Vantajosos da Invenção
A presente invenção utiliza as informações indicativas do auxiliar da ordem de exibição em cada imagem respectiva que forma uma sequência de vídeo ou dados da imagem codificada por compressão (que serão denominadas daqui por diante informações sobre a ordem de exibição (que correspondente ao tempo de exibição, informações de referência temporal, referência temporal, ou outros similares, na tecnologia convencional)) para definir o tempo de atualização da memória. A atualização da memória pode ser realizada depois de uma imagem prevista intraquadro (intraquadro) em um ponto de acesso aleatório para obter a codificação de compressão eficiente das imagens antes e depois da imagem de acesso aleatório na ordem de exibição e, ao mesmo tempo, resolver os inconvenientes associados aos defeitos da tecnologia convencional como descrito abaixo.
15/39
Especificamente, as informações sobre a ordem de exibição são auxiliares em cada imagem e, portanto, dispensam a transmissão de novas informações (sinalizador), resolvendo o defeito 2 da tecnologia convencional.
Quando uma sequência de vídeo é editada (por exemplo, para descartar algumas imagens, ou para agregar outras imagens), as informações sobre a ordem de exibição de cada imagem que formam a sequência de vídeo são definidas corretamente para não causar mau funcionamento, solucionando o defeito 1 da tecnologia convencional.
Ademais, o tempo de atualização da memória pela presente invenção não está limitado às imagens P e é independente dos tipos de codificação das imagens (imagens I, imagens P, ou imagens B), e, portanto, o processamento pode ser praticado em um tipo de codificação com a melhor eficiência de codificação, independente da necessidade de atualização da memória, solucionando o defeito 3 da tecnologia convencional.
Breve Descrição dos Desenhos
A figura 1 é um diagrama de bloco funcional mostrando uma configuração de um dispositivo de codificação preditiva de vídeo de acordo com uma modalidade da presente invenção.
A figura 2 é um diagrama de bloco funcional mostrando uma configuração de um dispositivo de decodificação preditiva de vídeo de acordo com uma modalidade da presente invenção.
A figura 3 é um fluxograma operacional mostrando um método de codificação/decodificação preditiva de vídeo de acordo com uma modalidade da presente invenção.
A figura 4 é uma vista esquemática para explicar o método de codificação/decodificação preditiva de vídeo de acordo com a modalidade da presente invenção ilustrada na figura 3.
A figura 5 é um fluxograma operacional mostrando um método de codificação/decodificação preditiva de vídeo de acordo com outra modalidade exemplificativa da presente invenção.
A figura 6 é uma vista esquemática para explicar o método de codificação/decodificação preditiva de vídeo de acordo com a modalidade da
16/39 presente invenção ilustrada na figura 5.
A figura 7 é um desenho que mostra uma configuração de hardware de um computador para executar um programa gravado em uma mídia de armazenamento.
A figura 8 é uma vista esquemática de um computador para executar um programa gravado em uma mídia de armazenamento.
A figura 9 é um diagrama de bloco mostrando um exemplo de configuração de um programa de codificação preditiva de vídeo.
A figura 10 é um diagrama de bloco mostrando um exemplo de configuração de um programa de decodificação preditiva de vídeo.
Afigura 11 é uma vista esquemática mostrando uma estrutura de previsão do método convencional de codificação/decodificação preditiva de vídeo.
Descrição das Modalidades
As modalidades da presente invenção serão descritas a seguir usando as figuras 1 a 10.
Dispositivo de Codificação Preditiva de Vídeo
A figura 1 é um diagrama de bloco funcional mostrando uma configuração de um dispositivo de codificação preditiva de vídeo 100 de acordo com uma modalidade da presente invenção. Como mostra a figura 1, o dispositivo de codificação preditiva de vídeo 100 é guarnecido com componentes funcionais do terminal de entrada 101, divisor de bloco 102, gerador do sinal previsto 103, memória do quadro 104, subtraidor 105, transformador 106, quantizador 107, dequantizador 108, transformador inverso 109, somador 110, codificador de entropia 111, terminal de saída 112, terminal de entrada 113, e unidade de gerenciamento da memória do quadro 114. A operação dos respectivos componentes funcionais será descrita na operação descrita adiante do dispositivo de codificação preditiva de vídeo 100.
A operação do dispositivo de codificação preditiva de vídeo 100 será descrito abaixo. Um sinal de vídeo de uma sequência de vídeo consistindo em uma pluralidade de imagens como alvos para um processo de codificação é alimentado no terminal de entrada 101 e o divisor de bloco 102
17/39 divide cada imagem em uma pluralidade de regiões. Na presente modalidade, cada imagem é dividida em uma pluralidade de blocos, cada um consistindo em 8x8 pixels, mas pode ser dividido em blocos de qualquer forma ou tamanho, salvo os mencionados. Em seguida, para um alvo de um bloco como um objeto a ser codificado (que daqui por diante será denominado bloco alvo), um sinal previsto é gerado por um método de previsão descrito a seguir. Na presente modalidade, existem dois tipos de métodos de previsão disponíveis, previsão entrequadro e previsão intraquadro, e a previsão entrequadros bidirecional descrita na técnica anterior também é aplicável à previsão entrequadro. As respectivas operações fundamentais da previsão entrequadro e da previsão intraquadro serão sintetizadas abaixo.
Na previsão entrequadro, uma imagem reproduzida que foi previamente codificada e então restaurada é utilizada como uma imagem de referência e a informação de movimento (por exemplo, um vetor de movimento) é obtida da imagem de referência para fornecer um sinal previsto com o menor erro para o bloco alvo. Este processo é chamado detecção de movimento. Em alguns casos, o bloco alvo pode ser subdividido em pequenas regiões e o método de previsão entrequadro pode ser determinado para um alvo de cada região pequena subdividida. Nesses casos, o método de divisão mais eficiente é determinado entre uma variedade de métodos de divisão. O método de divisão é utilizado para subdividir o bloco alvo em pequenas regiões e as informações de movimento de cada região pequena para todo o bloco alvo são determinadas. Na presente modalidade, a previsão entrequadro é conduzida pelo gerador do sinal previsto 103. O bloco alvo é alimentado através da linha L102 ao gerador do sinal previsto 103, enquanto a imagem de referência é alimentada através da linha L104 ao gerador do sinal previsto 103. No tocante à imagem de referência, uma pluralidade de imagens que tenham sido previamente codificadas e então restauradas são utilizadas como imagens de referência. Os detalhes são idênticos a qualquer um dos métodos de MPEG-2, MPEG-4, e H.264, que são as tecnologias convencionais. As informações do método de divisão determinado utilizadas para determinar as regiões pequenas, e as informações de movi18/39 mento de cada região pequena são enviadas a partir do gerador do sinal previsto 103 através da linha L112 para o codificador de entropia 111. O codificador de entropia 111 codifica as informações de movimento do método de divisão determinado e as informações de movimento de cada região pequena, e os dados codificados são enviados através da linha L111 até o terminal de saída 112. Informações que indicam a partir de qual imagem de referência o sinal previsto é adquirido da pluralidade de imagens de referência (índice de referência) também são enviadas a partir do gerador do sinal previsto 103 através da linha L112 até o codificador de entropia 111. As informações de indicação da imagem de referência são codificadas pelo codificador de entropia 111, e então os dados codificados são enviados através da linha L111 para fora do terminal de saída 112. Na presente modalidade, como exemplo, quatro ou cinco imagens reproduzidas são armazenadas na memória do quadro 104 e utilizadas como imagens de referência. O gerador do sinal previsto 103 adquire uma imagem de referência da memória do quadro 104, com base no método de divisão de região pequena, e a imagem de referência e informação de movimento para cada região pequena, e gera um sinal previsto da imagem de referência e informação de movimento (que é chamado sinal previsto interquadro significando que esse é um sinal previsto obtido pela previsão entrequadro). O sinal previsto interquadro gerado dessa maneira é enviado através da linha L103 para o subtraidor 105 e para o somador 110 para o processamento descrito a seguir.
Por outro lado, a previsão intraquadro gera um sinal previsto intraquadro, usando valores de pixel previamente reproduzidos espacialmente adjacentes a um bloco alvo. Especificamente, o gerador do sinal previsto 103 adquire sinais de pixel previamente reproduzidos no mesmo quadro da memória do quadro 104 e gera um sinal previsto pela extrapolação dos sinais de pixel previamente reproduzidos (que é chamado sinal previsto intraquadro significando que é um sinal previsto obtido pela previsão intraquadro). O sinal previsto intraquadro assim gerado é enviado pelo gerador do sinal previsto 103 através da linha L103 até o subtraidor 105. O método de geração do sinal previsto intraquadro no gerador do sinal previsto 103 é igual
19/39 ao método de H.264, que é a tecnologia convencional. As informações indicando o método de extrapolação na previsão intraquadro são enviadas do gerador do sinal previsto 103 através da linha L112 para o codificador de entropia 111, onde são codificadas pelo codificador de entropia 111, e os dados codificados são enviados para fora do terminal de saída 112.
A descrição acima sintetiza as respectivas operações fundamentais da previsão entrequadro e da previsão intraquadro. Na prática, para cada bloco alvo, um sinal previsto com o menor erro é selecionado a partir dos sinais previstos interquadro e intraquadro obtidos como descrito acima, e é enviado do gerador do sinal previsto 103 através da linha L103 para o subtraidor 105.
Incidentalmente, como não existe imagem prévia para a primeira imagem a ser codificada, todos os blocos alvos na primeira imagem são processados pela previsão intraquadro. Na preparação para a comutação dos canais de TV, todos os blocos alvos em uma determinada imagem são periodicamente processados como um ponto de acesso aleatório, pela previsão intraquadro. Essas imagens são chamadas intraquadros e são denominadas imagens de IDR em H.264.
O subtraidor 105 subtrai o sinal previsto recebido através da linha L103, do sinal do bloco alvo recebido através da linha L102, para gerar um sinal residual. Esse sinal residual é transformado pela transformada discreta de cosseno pelo transformador 106 e cada um dos coeficientes da transformada são quantizados pelo quantizador 107. Finalmente, os coeficientes da transformada quantizados são codificados pelo codificador de entropia 111 e os dados codificados resultantes são enviados junto com as informações sobre o método de previsão através da linha L111 para fora do terminal de saída 112.
Por outro lado, para a previsão intraquadro ou para a previsão entrequadro para um bloco alvo subsequente, os coeficientes da transformada quantizados (dados codificados do bloco alvo) são dequantizados pelo dequantizador 108 e depois disso os coeficientes da transformada são inversamente transformados pela transformada inversa discreta de cosseno pelo
20/39 transformador inverso 109, restaurando o sinal residual. Então o somador 110 adiciona o sinal residual restaurado ao sinal previsto enviado através da linha L103, para reproduzir o sinal do bloco alvo, e o sinal reproduzido assim obtido é armazenado na memória do quadro 104. A presente modalidade emprega o transformador 106 e o transformador inverso 109, mas qualquer outro processo de transformada pode ser empregado no lugar desses. Ademais, o transformador 106 e o transformador inverso 109 podem ser omitidos em alguns casos.
Incidentalmente, a capacidade da memória do quadro 104 é limitada e efetivamente impossível armazenar todas as imagens reproduzidas. Por essa razão, apenas as imagens reproduzidas utilizadas para codificação de uma imagem subsequente são armazenadas na memória do quadro 104. Uma unidade para controlar a memória do quadro 104 é a unidade de gerenciamento da memória do quadro 114. A unidade de gerenciamento da memória do quadro 114 controla a memória do quadro 104 de maneira que a imagem mais antiga reproduzida é excluída de N (por exemplo, N=4) imagens reproduzidas armazenadas na memória do quadro 104, para permitir que a imagem mais recente reproduzida utilizada como uma imagem de referência, seja armazenada na memória do quadro 104. Na realidade, a unidade de gerenciamento da memória do quadro 114 recebe a entrada de informações sobre a ordem de exibição de cada imagem e informações do tipo para codificar de cada imagem (codificação preditiva intraquadro, codificação preditiva entrequadros, ou codificação preditiva bidirecional) do terminal de entrada 113, e a unidade de gerenciamento da memória do quadro 114 opera com base nesses pedaços de informações. Nesse momento, as informações sobre a ordem de exibição de cada imagem são enviadas da unidade de gerenciamento da memória do quadro 114 através da linha L114 para o codificador de entropia 111, onde são codificadas pelo codificador de entropia 111. As informações sobre a ordem de exibição assim codificadas são enviadas junto com os dados da imagem codificada através da linha L111 para fora do terminal de saída 112. As informações sobre a ordem de exibição são informações auxiliares sobre cada imagem, e podem ser informa21/39 ções indicativas de uma ordem da imagem, ou informações indicativas de um tempo de exibição da imagem (por exemplo, um tempo de referência de exibição da imagem (referência temporal)). Na presente modalidade, por exemplo, as informações sobre a ordem de exibição em si são codificadas por codificação binária. O método de controle pela unidade de gerenciamento da memória do quadro 114 será descrito posteriormente.
Dispositivo de Decodificacão Preditiva de Vídeo
Em seguida, será descrito um dispositivo de decodificação preditiva de vídeo de acordo com a presente invenção. Afigura 2 é um diagrama de bloco funcional mostrando uma configuração do dispositivo de decodificação preditiva de vídeo 200 de acordo com uma modalidade da presente invenção. Como mostra a figura 2, o dispositivo de decodificação preditiva de vídeo 200 é guarnecido com componentes funcionais do terminal de entrada 201, analisador de dados 202, dequantizador 203, transformador inverso 204, somador 205, gerador do sinal previsto 208, memória do quadro 207, terminal de saída 206, e unidade de gerenciamento da memória do quadro 209. As operações do respectivo componente funcional serão descritas na operação do dispositivo de decodificação preditiva de vídeo 200 descrito abaixo. O dispositivo associado à decodificação nem sempre está limitado ao dequantizador 203 e ao transformador inverso 204. Em outras modalidades, qualquer outro dispositivo além desses pode ser empregado. Em algumas modalidades exemplificativas, o dispositivo associado à decodificação pode ser constituído somente pelo dequantizador 203, sem o transformador inverso 204.
A operação do dispositivo de decodificação preditiva de vídeo 200 será descrita abaixo. Os dados comprimidos obtidos pelo método de codificação mencionado são alimentados através do terminal de entrada 201. Esses dados comprimidos contêm o sinal residual do bloco alvo, as informações sobre a geração do sinal de previsão descrevendo a geração do sinal previsto, o parâmetro de quantização, as informações sobre a ordem de exibição da imagem, e as informações do tipo de codificação indicando o tipo de codificação da imagem. Entre esses, as informações sobre a geração
22/39 do sinal de previsão, por exemplo, no caso da previsão entrequadro, contém as informações sobre divisão de bloco (as informações do método de divisão de região pequena (por exemplo, o tamanho do bloco ou similares)), as informações de movimento de cada região pequena, e o índice de referência. No caso da previsão intraquadro, as informações sobre a geração do sinal de previsão contêm as informações sobre o método de extrapolação.
O analisador de dados 202 extrai o sinal residual do bloco alvo, as informações sobre a geração do sinal de previsão associadas à geração do sinal previsto, o parâmetro de quantização, as informações sobre a ordem de exibição da imagem, e as informações do tipo de codificação indicando o tipo de codificação da imagem a partir dos dados de entrada comprimidos. Entre esses, o sinal residual do bloco alvo e o parâmetro de quantização são alimentados através da linha L202 até o dequantizador 203, o dequantizador 203 de-quantiza o sinal residual do bloco alvo com base no parâmetro de quantização, e o transformador inverso 204 transforma inversamente o resultado da dequantização pela transformada inversa discreta de cosseno. O sinal residual restaurado dessa maneira é enviado através da linha L204 para o somador 205.
Por outro lado, as informações sobre a geração do sinal de previsão extraídas que descrevem a geração do sinal previsto são enviadas através da linha L206b para o gerador do sinal previsto 208. O gerador do sinal previsto 208 adquire uma imagem de referência apropriada entre uma pluralidade de imagens de referência armazenadas na memória do quadro 207, com base nas informações sobre a geração do sinal de previsão que descrevem a geração do sinal previsto, e gera um sinal previsto com base na imagem de referência apropriada. O sinal previsto assim gerado é enviado através da linha L208 ao somador 205, e o somador 205 adiciona o sinal previsto ao sinal residual restaurado, reproduzindo o sinal do bloco alvo. O sinal do bloco alvo então reproduzido é emitido através da linha L205 pelo terminal de saída 206 e, ao mesmo tempo, é armazenado como uma imagem reproduzida na memória do quadro 207.
As imagens reproduzidas utilizadas para decodificar ou reprodu23/39 ção de uma imagem subsequente são armazenadas na memória do quadro 207. A unidade de gerenciamento da memória do quadro 209 controla a memória do quadro 207 de maneira que a imagem mais antiga reproduzida é excluída de N (que é N=4 como exemplo nesse caso, mas pode ser qualquer número inteiro predeterminado). A imagem mais antiga reproduzida armazenada na memória do quadro 207 é excluída para permitir que a imagem mais recente reproduzida utilizada como uma imagem de referência,seja armazenada na memória do quadro 207. A unidade de gerenciamento da memória do quadro 209 opera com base nas informações sobre a ordem de exibição da imagem alvo e nas informações sobre o tipo de codificação da imagem, que são alimentadas através da linha L206a. O método de controle pela unidade de gerenciamento da memória do quadro 209 será descrito posteriormente.
Um intraquadro (imagem prevista intraquadro) que atua como um ponto de acesso aleatório é chamada uma imagem de IDR (atualização do decodificador instantânea) em H.264, e esse nome decorre do fato de que a memória do quadro (buffer do decodificador) é atualizada instantaneamente depois da codificação ou decodificação de uma imagem de IDR. Por outro lado, a presente invenção executa a atualização da memória do quadro depois de uma espera temporária (ou atraso), invés de executar a atualização da memória do quadro imediatamente depois da codificação ou decodificação de um intraquadro como um ponto de acesso aleatório (ou imediatamente antes da codificação ou decodificação). Desse modo, na presente invenção essa imagem é chamada de uma imagem de DDR (atualização do decodificador deferida ou atualização do decodificador atrasada). Como descrito em detalhes a seguir, o tempo de atualização da memória do quadro é determinado com base na comparação entre as informações sobre a ordem de exibição de uma imagem de DDR e as informações sobre a ordem de exibição de uma imagem como um alvo para processamento (codificação ou decodificação) (que será denominada daqui por diante imagem alvo do processamento).
Operações de Processamento Características do Método de Codificação
24/39
Preditiva de Vídeo e Método de Decodificação Preditiva de Vídeo
As operações do método de codificação preditiva de vídeo e do método de decodificação preditiva de vídeo de acordo com a presente invenção serão descritas abaixo usando as figuras 3 e 4. A figura 3 é um fluxograma mostrando a operação do método de codificação/decodificação preditiva de vídeo de acordo com a presente modalidade. A figura 3 será descrita abaixo como o método de codificação de vídeo. No entanto, a figura 3 também é aplicável ao método de decodificação de vídeo.
Primeiramente, serão descritos os significados das variáveis utilizadas na figura 3. TR significa informações sobre a ordem de exibição, TRDDR significa informações sobre a ordem de exibição de uma imagem de DDR, TR_CUR significa informações sobre a ordem de exibição de uma imagem alvo do processamento em um ponto de interesse ou em um tempo de processamento da imagem alvo do processamento, de modo que a imagem alvo do processamento é a imagem alvo atual, e RP significa uma variável do estado que indica se a atualização da memória do quadro 104 está em espera. Um caso de RP=1 indica um estado em que, depois de uma imagem de DDR se tornar um alvo de processamento, a atualização da memória do quadro 104 ainda não foi executada (isto é, um estado em que a atualização da memória do quadro está em espera), e um caso de RP=0 indica um estado em que a atualização da memória do quadro 104 já foi executada, ou um estado em que o processo de atualização não é necessário.
Na figura 3, em um início da codificação de um sinal de vídeo, primeiramente, TR DDR e RP são inicializados para 0 (etapa 301). A etapa 302 serve para verificar se RP=1 e se TR_CUR da imagem alvo do processamento é maior que TR_DDR da imagem de DDR. Quando essas condições são satisfeitas, é indicado que a atualização da memória do quadro está em espera e que a imagem alvo do processamento é uma imagem na série de imagens depois de uma imagem de DDR, e o processo de atualização da memória do quadro 104 (isto é, um processo de definição das imagens de referência armazenadas na memória do quadro 104, como desne25/39 cessárias) é executado (etapa 303). Nota-se, no entanto, que as imagens de referência armazenadas na memória do quadro 107 que são definidas como desnecessárias são apenas imagens de referência com as informações sobre a ordem de exibição TR menores que as informações sobre a ordem de exibição da imagem de DDR mais recente (TR_DDR). A imagem de DDR mais recente (ou imagem codificada de previsão intraquadro) armazenada na memória do quadro 104 não é definida como sendo desnecessária. Depois da conclusão do processo de atualização como descrito acima, a variável do estado RP é definida para RP=0.
Por outro lado, quando as condições acima não são satisfeitas na etapa 302, a operação prossegue para a etapa 304 para verificar se a imagem alvo do processamento atual é uma imagem de DDR. Presume-se no dispositivo de codificação preditiva de vídeo 100 que as informações do tipo de codificação sobre o tipo de codificação da imagem (DDR, codificação preditiva entrequadros, ou codificação preditiva bidirecional) são supridas através do terminal de entrada 113 na figura 1 a partir de um dispositivo de controle (não mostrado). Quando for determinado na etapa 304 que a imagem alvo do processamento atual é uma imagem de DDR, a etapa 305 é conduzida para definir as informações sobre a ordem de exibição TR_CUR da imagem alvo do processamento atual para TRJDDR e para definir a variável do estado RP para RP=1, e então a operação prossegue para a etapa 306. Por outro lado, quando a condição não é satisfeita na etapa 304, a operação prossegue para a etapa 306.
A etapa 306 serve para obter uma imagem reproduzida correspondente à imagem alvo do processamento. Nesta etapa, a imagem alvo do processamento é codificada para obter os dados comprimidos que são comprimidos pelo método de codificação descrito com referência à figura 1, e os dados comprimidos são ainda decodificados para obter uma imagem reproduzida (a imagem reproduzida correspondente à imagem alvo do processamento). Os dados comprimidos obtidos pela codificação são enviados para fora do dispositivo de codificação preditiva de vídeo 100. Como alternativa, os dados comprimidos podem ser armazenados em uma memória (não mos26/39 trada) que pode ser incluída no dispositivo de codificação preditiva de vídeo 100. A etapa 307 seguinte serve para determinar se a imagem reproduzida que corresponde à imagem alvo do processamento será utilizada como uma imagem de referência em um processo subsequente. Essa determinação é feita com base no tipo de codificação da imagem. Presume-se na presente modalidade que, uma imagem de DDR, uma imagem codificada de previsão unidirecional, e uma imagem codificada de previsão bidirecional específica, todas elas são determinadas para serem utilizadas como imagens de referência, as quais são armazenadas. Nota-se, no entanto, que a presente invenção não está limitada a esses tipos de codificação ou método de determinação.
Quando for determinado na etapa 307 que a imagem reproduzida não é utilizada como uma imagem de referência, a imagem reproduzida não é armazenada na memória do quadro 104 e a operação prossegue para a etapa 309. Por outro lado, se for determinado na etapa 307 que a imagem reproduzida é utilizada como uma imagem de referência, a etapa 308 é conduzida para armazenar a imagem reproduzida na memória do quadro 104, e então a operação prossegue para a etapa 309.
Na etapa 309 é determinado se existe uma imagem seguinte (imagem não processada), e se existir uma imagem seguinte, a operação retoma para a etapa 302 para repetir os processos das etapas 302 a 308 para a imagem seguinte. Os processos das etapas 302 a 308 são realizados repetidamente até a última imagem ser processada. Dessa maneira e, depois da conclusão do processamento para todas as imagens, o processamento da figura 3 é encerrado.
Através do processamento descrito acima da figura 3, depois da conclusão do processamento de uma imagem de acesso aleatório (aqui, a imagem de DDR mais recente), a memória do quadro 104 é atualizada em um tempo de processamento de uma imagem contendo informações sobre a ordem de exibição (TR) maiores que TR_DDR (na realidade, na etapa 303 antes do processo da etapa 306). O tempo de atualização da memória do quadro pode ser qualquer tempo após a conclusão do processamento da
27/39 imagem de acesso aleatório (aqui, a imagem de DDR mais recente) durante o processamento de uma imagem com as informações sobre a ordem de exibição TR maiores que TR_DDR, e pode ocorrer imediatamente após o processo da etapa 306.
O processamento já mencionado da figura 3 corresponde ao processamento completo do dispositivo de codificação preditiva de vídeo 100 na figura 1, e, particularmente, os processos das etapas 302 a 305 são conduzidos pela unidade de gerenciamento da memória do quadro 114.
A figura 3 foi descrita como o método de codificação de vídeo, mas também é aplicável ao processamento do método de decodificação de vídeo. Na execução do processamento de decodificação, a etapa 301 inclui ainda o recebimento dos dados de uma imagem codificada por compressão (fluxo de bit). As informações sobre a ordem de exibição e tipo de codificação de uma imagem alvo são extraídas dos dados e as operações das etapas 302 a 305 são realizadas pelo mesmo método acima. Na execução do processo de decodificação, a etapa 306 realiza um processo de decodificação dos dados comprimidos da imagem alvo para restaurar a imagem. Os processos da etapa 307 e das etapas posteriores ocorrem como descrito acima. Este processamento corresponde ao processamento completo do dispositivo de decodificação preditiva de vídeo 200 na figura 2 e, particularmente, os processos das etapas 302 a 305 são conduzidos pela unidade de gerenciamento da memória do quadro 209.
A figura 4 é um diagrama esquemático que explica o processamento do método de codificação/decodificação preditiva de vídeo de acordo com a presente modalidade. As imagens 401 a 409 mostradas na figura 4 são algumas imagens dentre uma série delas que constituem uma sequência de vídeo, e a imagem 401 indica um estado em que existem n imagens anteriores. Portanto, como mostra a região 418 da figura 4, as informações sobre a ordem de exibição TR da imagem 401 são representadas por (n+1). Como na presente modalidade presume-se a execução do processamento de codificação/decodificação que inclui a previsão bidirecional, a figura 4 mostra um estado em que a imagem 402 com TR=(n+5) é primeiramente
28/39 processada, e depois disso as imagens 403, 404, e 405, que supostamente serão exibidas antes da imagem 402, são processadas. Pela mesma razão, a imagem 403 com a ordem de exibição de (n+3) é processada antes da imagem 404 com a ordem de exibição de (n+2). Essa ordem é idêntica à ordem na figura 11 (B). Nota-se que processar uma imagem daqui por diante quer dizer codificar ou decodificar uma imagem.
Os identificadores gravados nos quadros das imagens 401 a 409 na figura 4 têm os significados a seguir. A saber, P significa uma imagem codificada por previsão unidirecional, DDR significa uma imagem codificada como uma imagem de DDR, e B e b individualmente significam uma imagem codificada por previsão bidirecional. As imagens, salvo aquelas indicadas por b minúsculo (isto é, as imagens indicadas por B, P, maiúsculos e DDR), presumidamente serão utilizadas como imagens de referência. O valor de RP para cada imagem na região 420 e o valor de TR_DDR na região 419 na figura 4 são valores imediatamente após a conclusão do processamento para cada imagem, mas não são valores em um início do processamento para cada imagem (isto é, no tempo de entrada na etapa 302 na figura 3). Por exemplo, RP=0 no início do processamento para a imagem 402, mas RP=1 imediatamente após a conclusão do processamento para a imagem 402.
No processamento da imagem 401, como a imagem 401 não é uma imagem de DDR, isso resulta em RP=0. TR_DDR correspondente à imagem 401 pode assumir qualquer valor, salvo se for definido um valor armazenado pelo processamento. Como a imagem 401 indicada por P1 maiúsculo é utilizada como uma imagem de referência, ela é armazenada na memória do quadro.
Em seguida, o processamento da imagem 402 será descrito com referência à figura 3. Nesse momento, a imagem reproduzida P1 é armazenada na memória do quadro, como mostra a região 410 na fileira de baixo na figura 4. Como RP=0 no tempo de início do processamento da imagem 402, etapa 302 resulta na determinação negativa e a operação prossegue para a etapa 304. Como a imagem 402 é uma imagem de DDR, a etapa 304 resulta
29/39 na determinação positiva e a etapa 305 é conduzida para definir RP=1 e TR_DDR=n+5. Como a imagem 402 é utilizada como uma imagem de referência, ela é armazenada na memória do quadro.
Em um ponto de início do processamento da imagem seguinte 403, como mostra a região 411 na figura 4, as imagens P1 e DDR5 são armazenadas na memória do quadro. Nesse momento, RP=1, mas a ordem de exibição TR (n+3) da imagem 403 é menor que TRDDR (n+5) e a imagem 403 não é uma imagem de DDR; portanto, as etapas 302, 304 resultam em um determinação negativa e a imagem 403 é codificada ou decodificada na forma em que está (etapa 306). Como a imagem 403 é utilizada como uma imagem de referência, ela é armazenada na memória do quadro.
Por ocasião do processamento das imagens 404 e 405, a atualização da memória do quadro ainda está em um estado de espera (RP=1). Como as imagens 404 e 405 não são utilizadas como imagens de referência, as imagens 404 e 405 não são armazenadas na memória do quadro como mostram as regiões 412, 413 na figura 4, enquanto as imagens P1, DDR5, e B3 permanecem armazenadas ali.
RP=1 em um ponto inicial do processamento da imagem 406; como as informações sobre a ordem de exibição TR (n+9) da imagem 406 são maiores que TR_DDR (n+5), a etapa 302 resulta na determinação positiva e a etapa 303 é conduzida para definir as imagens de referência como desnecessárias, para atualizar a memória do quadro, e definir RP=0. As imagens de referência definidas como desnecessárias nesse momento são apenas as imagens de referência com as informações sobre a ordem de exibição TR menores que aquelas da imagem de DDR mais recente 402, salvo para a imagem de DDR mais recente 402. Portanto, como mostra a região 414 na figura 4, as áreas de armazenamento da imagem P1 e da imagem B3 são liberadas na memória do quadro, resultando que, somente a imagem DDR5 permanece armazenada. A imagem 406, que é utilizada como uma imagem de referência, é armazenada na memória do quadro depois de concluído o processamento da imagem 406, como mostra a região 415 na figura 4, e depois disso o controle de atualização da memória do quadro é condu30/39 zido de modo idêntico ao explicado acima.
Como a imagem de referência na memória do quadro (imagem P1 na figura 4) não é definida como desnecessária, imediatamente depois ou imediatamente antes do processamento da imagem de DDR 402 como descrito acima, a imagem P1 pode ser consultada no processamento das imagens 403, 404, e 405 processadas depois da imagem de DDR 402, e isso contribui para aumentar a eficiência de codificação. Como a imagem de DDR mais recente 402 (imagem DDR5) não é definida como desnecessária na execução da atualização da memória do quadro depois do processamento da imagem de DDR 402, a imagem de DDR mais recente 402 (imagem DDR5) pode ser utilizada como uma imagem de referência no processamento das imagens subsequentes 407, 408, e 409.
Como descrito acima, a presente modalidade faz uso de informações sobre a ordem de exibição incluídas junto com cada respectiva imagem para definir o tempo de atualização da memória que é conduzida depois do processamento da imagem prevista intraquadro (imagem de DDR) que atua como um ponto de acesso aleatório. O tempo de atualização da memória se baseia nas informações sobre a ordem de exibição, realizando uma codificação de compressão eficiente das imagens antes e depois de uma imagem de acesso aleatório. Isso soluciona ainda os inconvenientes associados aos defeitos da tecnologia convencional, como descrito abaixo.
A saber, como as informações sobre a ordem de exibição são sempre incluídas junto com cada respectiva imagem, é dispensável a transmissão de novas informações (sinalizador), o que soluciona o defeito 2 da tecnologia convencional. Ademais, no caso de edição de um sinal de vídeo (por exemplo, para descartar algumas das imagens ou para unir diferentes imagens), pedaços de informações sobre a ordem de exibição das respectivas imagens que constituem o sinal de vídeo também são apropriadamente definidas para não gerar mau funcionamento, o que soluciona o defeito 1 da tecnologia convencional. Ademais, como o tempo de atualização da memória de acordo com a presente invenção não é limitado às imagens P, e é independente dos tipos de codificação das imagens (imagens I, imagens P, e
31/39 imagens B), cada imagem é processada em um tipo de codificação com a mais elevada eficiência de codificação, independente da necessidade de atualização da memória, o que soluciona o defeito 3 da tecnologia convencional.
Exemplo de Modificação da Modalidade
As modalidades citadas descrevem o processamento no caso em que as informações sobre a ordem de exibição de cada imagem foram codificadas como um valor absoluto. Em outra modalidade, as informações sobre a ordem de exibição de cada imagem são codificadas como valor de diferença, para aumentar a eficiência de codificação. Será descrita a seguir a modalidade em que as informações sobre a ordem de exibição são codificadas como valor de diferença, como um exemplo de modificação.
A figura 5 mostra um fluxograma do exemplo de modificação do método de codificação/decodificação preditiva de vídeo. Nesta modalidade, as informações sobre a ordem de exibição de cada imagem são codificadas da seguinte forma. A saber, para cada imagem que se torna um alvo de processamento durante a espera da atualização da memória do quadro (isto é RP=1), um valor de diferença entre as informações sobre a ordem de exibição da imagem alvo e as informações sobre a ordem de exibição da imagem de DDR é codificado. Por outro lado, para cada imagem que se torna um alvo de processamento em um momento em que a atualização da memória do quadro 104 já foi executada, ou em um momento em que o processo de atualização não é necessário (isto é RP=0), as informações sobre sua ordem de exibição são codificadas usando qualquer método. Por exemplo, uma diferença a partir das informações sobre a ordem de exibição da imagem de DDR pode ser codificada, ou uma diferença a partir das informações sobre a ordem de exibição de uma imagem imediatamente anterior na ordem de codificação pode ser codificada.
Na operação do exemplo de modificação abaixo, a figura 5 será descrita como o método de decodificação de vídeo, mas é preciso compreender que a figura 5 também é aplicável ao método de codificação de vídeo. A etapa 501 na figura 5 serve para receber os dados de entrada de uma i32/39 magem codificada por compressão no dispositivo de decodificação preditiva de vídeo 200, e para extrair dos dados, um valor de diferença (delta_TR) das informações sobre a ordem de exibição da imagem alvo, e as informações sobre o tipo de codificação da imagem. Ao mesmo tempo, TR_DDR e RP são inicializados para 0.
A etapa 502 seguinte serve para verificar se RP=1. Quando esta condição é atendida, significa que a atualização da memória do quadro está em espera e, portanto, a operação prossegue para a etapa 503. A etapa 503 serve para definir as informações sobre a ordem de exibição TRCUR da imagem alvo do processamento atual como a soma de TR_DDR e delta_TR.
Em seguida, a etapa 504 serve para verificar se TR_CUR é maior que TR_DDR. Quando esta condição é atendida, significa que a atualização da memória do quadro está em espera (RP=1) e que a imagem alvo do processamento é uma imagem depois da imagem de DDR na ordem de exibição e, portanto, o processo de atualização da memória do quadro 207 (isto é, um processo de definição das imagens de referência armazenadas na memória do quadro 207, como desnecessárias) é executado (etapa 505). No entanto, as imagens de referência definidas como desnecessárias são apenas as imagens de referência com as informações sobre a ordem de exibição TR menores que as informações sobre a ordem de exibição da imagem de DDR mais recente (TRDDR). A imagem de DDR mais recente (ou imagem codificada de previsão intraquadro) não é definida como desnecessária. Depois da conclusão do processo de atualização como descrito acima, a variável do estado RP é definida para RP=0. Depois disso, a operação prossegue para a etapa 507 descrita abaixo. Quando a etapa mencionada 504 resulta em determinação negativa, a operação também prossegue para a etapa 507.
Por outro lado, quando a etapa 502 resulta em uma determinação negativa (isto é RP = 0), a operação prossegue para a etapa 506 para definir TR_CUR para a soma das informações sobre a ordem de exibição TR_PREV de uma imagem previamente processada e delta_TR, e então a operação prossegue para a etapa 507.
33/39
A etapa 507 serve para verificar se a imagem alvo do processamento atual é uma imagem de DDR. O dispositivo de decodificação preditiva de vídeo 200 pode obter as informações do tipo de codificação sobre o tipo de codificação da imagem (DDR, codificação preditiva entrequadros, ou codificação preditiva bidirecional) a partir dos dados codificados por compressão inseridos de fora.
Quando for determinado na etapa 507 que a imagem alvo do processamento atual é uma imagem de DDR, a etapa 508 é conduzida para definir as informações sobre a ordem de exibição TRCUR da imagem alvo do processamento atual para TR_DDR e definir a variável do estado RP para RP=1, e então a operação prossegue para a etapa 509. Por outro lado, quando a condição não é satisfeita na etapa 507, a operação prossegue para a etapa 509.
A etapa 509 serve para obter uma imagem reproduzida correspondente à imagem alvo do processamento. Nesse caso, a imagem reproduzida correspondente à imagem alvo do processamento é obtida pela decodificação dos dados comprimidos da imagem alvo do processamento pelo método de decodificação descrito com referência à figura 2. A imagem reproduzida aqui obtida é enviada, por exemplo, externamente ao dispositivo de decodificação preditiva de vídeo 200. A etapa 510 seguinte serve para determinar se a imagem reproduzida correspondente à imagem alvo do processamento é que será utilizada como uma imagem de referência no processamento subsequente. Essa determinação é feita com base no tipo de codificação da imagem. Nesse caso, uma imagem de DDR, uma imagem codificada de previsão unidirecional, e uma imagem codificada de previsão bidirecional específica, todas elas são determinadas para serem imagens de referência. Nota-se, no entanto, que a presente invenção não está limitada a estes tipos de codificação ou método de determinação.
Quando for determinado na etapa 510 que a imagem reproduzida não é utilizada como uma imagem de referência, a operação prossegue para a etapa 512 sem armazenar a imagem reproduzida na memória do quadro 207. Por outro lado, quando for determinado na etapa 510 que a i34/39 magem reproduzida é utilizada como uma imagem de referência, a etapa 511 é conduzida para armazenar a imagem reproduzida na memória do quadro 207, e então o fluxo prossegue para a etapa 512.
A etapa 512 serve para definir TRCUR para TR_PREV, para o processo seguinte da etapa 506, e então a operação prossegue para a etapa 513. A etapa 513 serve para determinar se existe uma imagem seguinte (imagem não processada), e se existir uma imagem seguinte, a operação retorna para a etapa 502 para repetir os processos das etapas 502 a 512 para a imagem seguinte. Os processos das etapas 502 a 512 são realizados repetidamente até a última imagem dessa maneira e depois de concluído o processamento para todas as imagens, o processamento da figura 5 é encerrado.
Através da operação de processamento descrita acima para a figura 5, após a conclusão do processamento de uma imagem de acesso aleatório (a imagem de DDR mais recente) a memória do quadro é atualizada em um tempo em que uma imagem contendo informações sobre a ordem de exibição TR que são maiores que TR_DDR é processada (na realidade, na etapa 505 antes do processo da etapa 509). O tempo de atualização da memória do quadro pode ser qualquer tempo seguinte à conclusão do processamento da imagem de acesso aleatório (aqui, a imagem de DDR mais recente), durante o processamento de uma imagem com informações sobre a ordem de exibição TR que são maiores que TRDDR, e pode ser um tempo imediatamente após o processo da etapa 509.
O processamento já mencionado da figura 5 corresponde ao processamento completo do dispositivo de decodificação preditiva de vídeo 200 na figura 2 e, particularmente, as etapas 502 a 508 são conduzidas pela unidade de gerenciamento da memória do quadro 209.
A operação da figura 5 foi descrita como um método de decodificação de vídeo mas também é aplicável ao processamento de um método de codificação de vídeo. No caso de execução do processamento de codificação, a etapa 503 serve para obter deltaTR a partir da diferença entre TR CUR e TR_DDR, e a etapa 506 serve para determinar delta_TR a partir
35/39 da diferença entre TRCUR e TRPREV, seguido pela codificação por entropia. Ademais, a etapa 509 serve para codificar a imagem alvo e então decodificar a imagem. Este processamento corresponde ao processamento completo do dispositivo de codificação preditiva de vídeo 100 na figura 1 e, particularmente, os processos das etapas 502 a 508 são conduzidos pela unidade de gerenciamento da memória do quadro 114.
A figura 6 é um diagrama esquemático que explica o processamento do método de codificação/decodificação preditiva de vídeo de acordo com a modalidade do exemplo de modalidade. As imagens 601 a 609 mostradas na figura 6 são algumas dentre uma série de imagens que constituem uma sequência de vídeo e mostram um processamento indicador idêntico ao das imagens 401 a 409 descrito com referência à figura 4. No entanto, a figura 6 inclui delta_TR mostrada na região 621, além das regiões da figura 4. Como observado a partir da região 621, a determinação de deltaTR é diferente, dependendo do valor de RP em um início do processo de codificação de uma imagem alvo (o valor RP de uma imagem anterior). A saber, nos processos de codificação das imagens 603 a 606, delta_TR é obtida como um valor de diferença entre TR de cada imagem e TR_DDR. Nos processos de codificação da imagem 607 e das imagens subsequentes, delta_TR é obtida como um valor de diferença entre TR de uma imagem alvo e TR de uma imagem imediatamente antes da imagem alvo. Por exemplo, TR da imagem 607 é subtraída de TR da imagem 606 para obter delta_TR da imagem 607. Por outro lado, quando as informações sobre a ordem de exibição TR são restauradas a partir do valor da diferença delta TR no processo de decodificação de cada imagem, as informações sobre a ordem de exibição TR são restauradas adicionando o valor da diferença delta_TR obtido pela decodificação dos dados comprimidos do valor de diferença, a TRDDR. O processamento posteriormente é idêntico ao mostrado na figura 4, portanto será omitido.
Na figura 6, mesmo se as imagens 603 a 605 forem perdidas pela edição, como as informações sobre a ordem de exibição TR da imagem 606 são determinadas a partir de TR DDR, podem ser corretamente recons36/39 truídas comoTR = deltaTR + TRDDR = 4 + (n + 5) = n + 9, ea atualização da memória do quadro pode ser controlada sem mau funcionamento. Se delta_TR de cada imagem for obtida como um valor de diferença entre as informações sobre a ordem de exibição da imagem e as informações sobre a ordem de exibição de uma imagem imediatamente antes dela na ordem de decodificação, e se a imagem 603 for perdida, as informações sobre a ordem de exibição não podem ser reproduzidas corretamente e a atualização da memória do quadro será executada no tempo da imagem 605 (embora, originalmente, o tempo do imagem 606 seja o tempo correto).
No caso em que a modalidade da figura 6 é aplicada ao processo de codificação de vídeo, durante a codificação das informações sobre a ordem de exibição de cada imagem (imagens 603-606) e aguardando a atualização da memória do quadro, depois da conclusão do processamento da imagem de acesso aleatório (aqui, a imagem de DDR mais recente), o valor da diferença delta TR entre as informações sobre a ordem de exibição TR da imagem atual e as informações sobre a ordem de exibição TR_DDR da imagem de DDR pode ser codificado, invés de codificar as informações sobre a ordem de exibição TR da imagem atual em si, decodificando corretamente deste modo o tempo de atualização da memória do quadro. Por essa razão, mesmo que uma imagem aguardando atualização da memória do quadro seja perdida, o mau funcionamento pode ser evitado, atingindo um efeito de alta resistência ao erro.
Como outro exemplo ainda, o valor da diferença delta_TR pode ser codificado para pelo menos uma imagem que inclua uma imagem para a qual as informações sobre a ordem de exibição TR são maiores que TR_DDR (imagem 606 na figura 6), posterior à imagem de acesso aleatório (aqui, a imagem de DDR mais recente). A saber, durante a codificação das informações sobre a ordem de exibição de pelo menos uma imagem que tem informações sobre a ordem de exibição TR maiores que TR_DDR (imagem 606 na figura 6), e que vem depois da imagem de acesso aleatório (aqui, a imagem de DDR mais recente), o valor da diferença delta_TR entre as informações sobre a ordem de exibição TR da imagem pertinente e as in37/39 formações sobre a ordem de exibição TR_DDR da imagem de DDR pode ser codificado, invés de codificar as informações sobre a ordem de exibição TR da imagem pertinente em si.
Programa de Codificação Preditiva de Vídeo e Programa de Decodificação
Preditiva de Vídeo
A invenção do dispositivo de codificação preditiva de vídeo também pode ser interpretada como a invenção de um programa de codificação preditiva de vídeo que controlam um computador para funcionar como o dispositivo de codificação preditiva de vídeo. Igualmente, a invenção do dispositivo de decodificação preditiva de vídeo também pode ser interpretada como a invenção de um programa de decodificação preditiva de vídeo que controlam um computador para funcionar como o dispositivo de decodificação preditiva de vídeo.
O programa de codificação preditiva de vídeo e o programa de decodificação preditiva de vídeo são fornecidos, por exemplo, conforme armazenados em uma mídia de armazenamento. Exemplos de tais mídias de gravação incluem mídias de gravação como discos flexíveis, CD-ROMs, e DVDs, ou mídias de gravação como ROMs, ou memórias semicondutoras ou outras do tipo.
A figura 9 mostra módulos do programa de codificação preditiva de vídeo que controlam um computador para funcionar como o dispositivo de codificação preditiva de vídeo. Como mostra a figura 9, o programa de codificação preditiva de vídeo P100 é guarnecido com o módulo de entrada P101, módulo de codificação P102, módulo de restauração P103, módulo de armazenamento de imagem P104, e módulo de gerenciamento da memória P105.
Afigura 10 mostra módulos do programa de decodificação preditiva de vídeo que controlam um computador para funcionar como o dispositivo de decodificação preditiva de vídeo. Como mostra a figura 10, o programa de decodificação preditiva de vídeo P200 é guarnecido com o módulo de entrada P201, módulo de restauração P202, módulo de armazenamento de imagem P203, e módulo de gerenciamento da memória P204.
38/39
O programa de codificação preditiva de vídeo P100 e o programa de decodificação preditiva de vídeo P200 configurados conforme a descrição acima podem ser armazenados em uma mídia de armazenamento 10 mostrada na figura 8 e são executados pelo computador 30 descrito adiante.
A figura 7 é um desenho mostrando uma configuração de hardware de um computador para executar um programa gravado em uma mídia de armazenamento e a figura 8 é uma vista esquemática de um computador para executar um programa armazenado em uma mídia de armazenamento. O computador pode ser, um reprodutor de DVD, um decodificador de sinais, um telefone celular, etc. que são guarnecidos com uma CPU e são configurados para realizar o processamento e o controle através de software.
Como mostra a figura 7, o computador 30 pode ser guarnecido com um dispositivo de leitura 12, por exemplo, uma unidade de drive de disco flexível, uma unidade de drive de CD-ROM, ou uma unidade de drive de DVD, uma memória de trabalho (RAM) 14 em que um sistema operacional seja residente, uma memória 16 para armazenamento de programas e dados, que também pode ser, ou como alternativa, armazenada em outro local, por exemplo, na mídia de armazenamento 10, uma unidade de monitor 18 como um visor, um mouse 20 e um teclado 22 como dispositivos de entrada, um dispositivo de comunicação 24 para transmissão e recepção de dados ou similar, e uma CPU 26 para controlar a execução dos programas. Por exemplo, quando a mídia de armazenamento 10 é inserida no dispositivo de leitura 12, o computador 30 passa a ser acessível ao programa de codificação preditiva de vídeo armazenado na mídia de armazenamento 10, através do dispositivo de leitura 12 e é capaz de operar como o dispositivo de codificação preditiva de vídeo de acordo com a presente invenção, com base no programa de codificação preditiva de vídeo. Do mesmo modo, em outro exemplo, quando a mídia de armazenamento 10 é inserida no dispositivo de leitura 12, o computador 30 se torna acessível ao programa de decodificação preditiva de vídeo armazenado na mídia de armazenamento 10, através do dispositivo de leitura 12 e é capaz de operar como o dispositivo de decodificação preditiva de vídeo de acordo com a presente invenção, com base no
39/39 programa de decodificação preditiva de vídeo.
Como mostra a figura 8, o programa de codificação preditiva de vídeo ou o programa de decodificação preditiva de vídeo pode ser fornecido na forma do sinal de dados de computador 40 sobreposto a uma onda por5 tadora, através de uma rede. Nesse caso, o computador 30 pode executar o programa depois do programa de codificação preditiva de vídeo ou o programa de decodificação preditiva de vídeo recebido pelo dispositivo de comunicação 24 é armazenado na memória 16.
Lista dos Sinais de Referência
10: mídia de armazenamento; 30: computador; 100: dispositivo de codificação preditiva de vídeo; 101: terminal de entrada; 102: divisor de bloco; 103: gerador do sinal previsto; 104: memória do quadro; 105: subtraidor; 106: transformador; 107: quantizador; 108: dequantizador; 109: transformador inverso; 110: somador; 111: codificador de entropia; 112: terminal de saída; 113: terminal de entrada; 114: unidade de gerenciamento da memória do quadro; 200: dispositivo de decodificação preditiva de vídeo; 201: terminal de entrada; 202: analisador de dados; 203: dequantizador; 204: transformador inverso; 205: somador; 206: terminal de saída; 207: memória do quadro; 208: gerador do sinal previsto; 209: unidade de gerenciamento da memória do quadro; P100: programa de codificação preditiva de vídeo; P101: módulo de entrada; P102: módulo de codificação; P103: módulo de restauração; P104: módulo de armazenamento de imagem; P105: módulo de gerenciamento da memória; P200: programa de decodificação preditiva de vídeo; P201: módulo de entrada; P202: módulo de restauração; P203: módu25 Io de armazenamento de imagem; P204: módulo de gerenciamento da memória.
1/8
Claims (12)
- REIVINDICAÇÕES1. Dispositivo de codificação preditiva de vídeo caracterizado pelo fato de que compreende:meio de entrada que aceita a entrada de uma pluralidade de imagens que constituem uma sequência de vídeo;meio de codificação que codifica cada uma das imagens de entrada por um método de predição intraquadro ou de predição entrequadro para gerar os dados da imagem comprimida incluindo uma imagem de acesso aleatório que atua como uma imagem de acesso aleatório, e que codifica dados que fornecem informações sobre a ordem de exibição de cada uma das imagens;meio de restauração que decodifica os dados da imagem comprimida gerados para restaurar uma imagem reproduzida;meio de armazenamento da imagem que armazena a imagem reproduzida restaurada como uma imagem de referência que será utilizada para codificação de uma imagem subsequente; e meio de gerenciamento da memória que controla o meio de armazenamento da imagem, sendo que, depois da conclusão de um processo de codificação de geração da imagem de acesso aleatório, o meio de gerenciamento da memória atualiza o meio de armazenamento da imagem definindo cada imagem de referência armazenada no meio de armazenamento da imagem, salvo para a imagem de acesso aleatório, como desnecessária, o meio de armazenamento da imagem atualizado imediatamente antes ou imediatamente depois da codificação de uma imagem contendo informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório.
- 2. Dispositivo de codificação preditiva de vídeo, de acordo com a reivindicação 1, caracterizado pelo fato de que o meio de codificação codifica um valor de diferença entre as informações sobre a ordem de exibição de pelo menos uma imagem alvo de codificação e as informações sobre a ordem de exibição da imagem de acesso aleatório, o valor daPetição 870180025957, de 29/03/2018, pág. 15/602/8 diferença codificado como dados que fornecem as informações sobre a ordem de exibição de pelo menos uma imagem alvo de codificação que inclui uma imagem contendo informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório, e que seja um primeiro alvo de codificação depois da conclusão do processo de codificação de geração da imagem de acesso aleatório.
- 3. Dispositivo de codificação preditiva de vídeo, de acordo com a reivindicação 1, caracterizado pelo fato de que, durante a codificação das informações sobre a ordem de exibição de cada imagem em uma sequência de uma imagem que seja um alvo de codificação seguinte depois da imagem de acesso aleatório, para uma imagem contendo informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório, e que seja um primeiro alvo de codificação depois da conclusão do processo de codificação de geração da imagem de acesso aleatório, o meio de cod ificação codifica como os dados que fornecem as informações sobre a ordem de exibição de cada imagem um valor de diferença entre as informações sobre a ordem de exibição de cada imagem e as informações sobre a ordem de exibição da imagem de acesso aleatório.
- 4. Dispositivo de decodificação preditiva de vídeo caracterizado pelo fato de que compreende:meio de entrada que aceita a entrada de dados da imagem comprimida que inclui uma imagem de acesso aleatório que atua como uma imagem de acesso aleatório, os dados da imagem comprimida obtidos codificando cada imagem de uma pluralidade de imagens que constituem uma sequência de vídeo por um método de predição intraquadro ou de predição entrequadro, e o meio de entrada também aceita a entrada de dados codificados da ordem de exibição obtidos pela codificação dos dados que fornecem informações sobre a ordem de exibição de cada uma das imagens;meio de restauração que decodifica os dados da imagemPetição 870180025957, de 29/03/2018, pág. 16/603/8 comprimida para restaurar uma imagem reproduzida e que decodifica os dados codificados da ordem de exibição para restaurar as informações sobre a ordem de exibição;meio de armazenamento da imagem que armazena a imagem reproduzida restaurada como uma imagem de referência que será utilizada para decodificação de uma imagem subsequente; e meio de gerenciamento da memória que controla o meio de armazenamento da imagem, sendo que, depois da conclusão de um processo de decodificação para decodificação da imagem de acesso aleatório, o meio de gerenciamento da memória atualiza o meio de armazenamento da imagem definindo cada imagem de referência armazenada no meio de armazenamento da imagem, salvo para a imagem de acesso aleatório, como desnecessária, o meio de armazenamento da imagem atualizado imediatamente antes ou imediatamente depois da decodificação de uma imagem que tem informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório.
- 5. Dispositivo de decodificação preditiva de vídeo, de acordo com a reivindicação 4, caracterizado pelo fato de que durante a decodificação de informações sobre a ordem de exibição de pelo menos uma imagem alvo de decodificação, que inclui decodificar a imagem que tem informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório e que é o primeiro alvo de decodificação depois da conclusão do processo de decodificação para decodificação da imagem de acesso aleatório, o meio de restauração restaura as informações sobre a ordem de exibição da imagem alvo de decodificação adicionando às informações sobre a ordem de exibição da imagem de acesso aleatório:um valor de diferença entre as informações sobre a ordem de exibição da imagem alvo de decodificação e as informações sobre a ordem de exibição da imagem de acesso aleatório, o valor da diferença obtido pela decodificação dos dados codificados da ordem de exibição da imagem alvoPetição 870180025957, de 29/03/2018, pág. 17/604/8 de decodificação.
- 6. Dispositivo de decodificação preditiva de vídeo, de acordo com a reivindicação 4, caracterizado pelo fato de que as informações sobre a ordem de exibição de cada imagem são decodificadas em uma sequência de uma imagem que seja um alvo de decodificação seguinte depois da imagem de acesso aleatório, para a imagem que tem as informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório e que é o primeiro alvo de decodificação depois da conclusão de um processo de decodificação de geração da imagem de acesso aleatório, e em que o meio de restauração restaura informações sobre a ordem de exibição de cada imagem adicionando às informações sobre a ordem de exibição da imagem de acesso aleatório:um valor de diferença entre as informações sobre a ordem de exibição de cada imagem e as informações sobre a ordem de exibição da imagem de acesso aleatório, o valor da diferença obtido pela decodificação dos dados codificados da ordem de exibição de cada imagem.
- 7. Método de codificação preditiva de vídeo que será executado por um dispositivo de codificação preditiva de vídeo com meio de armazenamento da imagem para armazenar uma imagem de referência que será utilizada para codificação de uma imagem subsequente, caracterizado pelo fato de que compreende:uma etapa de entrada para aceitar a entrada de uma pluralidade de imagens que constituem uma sequência de vídeo;uma etapa de codificação para codificar cada uma das imagens de entrada por um método de predição intraquadro ou de predição entrequadro para gerar os dados da imagem comprimida incluindo uma imagem de acesso aleatório que atua como uma imagem de acesso aleatório, e codificar dados que fornecem informações sobre a ordem de exibição de cada uma das imagens;uma etapa de restauração para decodificar os dados da imagem comprimida gerados para restaurar uma imagem reproduzida;uma etapa de armazenamento da imagem para armazenar aPetição 870180025957, de 29/03/2018, pág. 18/605/8 imagem reproduzida restaurada no meio de armazenamento da imagem como a imagem de referência que será utilizada para codificação da imagem subsequente; e uma etapa de gerenciamento da memória para controlar o meio de armazenamento da imagem, em que, depois da conclusão de um processo de codificação de geração da imagem de acesso aleatório, na etapa de gerenciamento da memória, o dispositivo de codificação preditiva de vídeo atualiza o meio de armazenamento da imagem definindo cada imagem de referência armazenada no meio de armazenamento da imagem, salvo para a imagem de acesso aleatório, como desnecessária, o meio de armazenamento da imagem atualizado imediatamente antes ou imediatamente depois da codificação de uma imagem com informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório.
- 8. Método de codificação preditiva de vídeo, de acordo com a reivindicação 7, caracterizado pelo fato de que, na etapa de codificação, o dispositivo de codificação preditiva de vídeo codifica um valor de diferença entre as informações sobre a ordem de exibição de pelo menos uma imagem alvo de codificação e as informações sobre a ordem de exibição da imagem de acesso aleatório, o valor da diferença codificado como dados que fornecem as informações sobre a ordem de exibição de pelo menos uma imagem alvo de codificação que inclui uma imagem contendo informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório e que seja um primeiro alvo de codificação depois da conclusão do processo de codificação de geração da imagem de acesso aleatório.
- 9. Método de codificação preditiva de vídeo, de acordo com a reivindicação 7, caracterizado pelo fato de que, na etapa de codificação, para cada imagem em uma sequência de uma imagem que seja um alvo de codificação seguinte depois da imagem de acesso aleatório, para uma imagem contendo informações sobre a ordem de exibição maiores que asPetição 870180025957, de 29/03/2018, pág. 19/606/8 informações sobre a ordem de exibição da imagem de acesso aleatório e que seja um primeiro alvo de codificação depois da conclusão do processo de codificação de geração da imagem de acesso aleatório, o dispositivo de codificação preditiva de vídeo codifica, como os dados que fornecem as informações sobre a ordem de exibição de cada imagem, um valor de diferença entre as informações sobre a ordem de exibição de cada imagem e as informações sobre a ordem de exibição da imagem de acesso aleatório.
- 10. Método de decodificação preditiva de vídeo que será executado por um dispositivo de decodificação preditiva de vídeo com o meio de armazenamento da imagem para armazenar uma imagem de referência que será utilizada para decodificação de uma imagem subsequente, caracterizado pelo fato de que compreende:uma etapa de entrada para aceitar a entrada dos dados da imagem comprimida incluindo uma imagem de acesso aleatório que atua como uma imagem de acesso aleatório, os dados da imagem comprimida obtidos codificando cada imagem de uma pluralidade de imagens que constituem uma sequência de vídeo por um método de predição intraquadro ou de predição entrequadro, e a etapa de entrada aceitando ainda a entrada dos dados codificados da ordem de exibição obtidos pela codificação dos dados que fornecem informações sobre a ordem de exibição de cada uma das imagens;uma etapa de restauração para decodificar os dados da imagem comprimida para restaurar uma imagem reproduzida e decodificar os dados codificados da ordem de exibição para restaurar as informações sobre a ordem de exibição;uma etapa de armazenamento da imagem para armazenar no meio de armazenamento da imagem a imagem reproduzida restaurada como a imagem de referência que será utilizada para decodificar da imagem subsequente; e uma etapa de gerenciamento da memória para controlar o meio de armazenamento da imagem, em que, depois de concluído um processo de decodificação paraPetição 870180025957, de 29/03/2018, pág. 20/607/8 decodificação da imagem de acesso aleatório, na etapa de gerenciamento da memória, o dispositivo de decodificação preditiva de vídeo atualiza o meio de armazenamento da imagem definindo cada imagem de referência armazenada no meio de armazenamento da imagem, salvo para a imagem de acesso aleatório, como desnecessária, imediatamente antes ou imediatamente depois da decodificação de uma imagem contendo informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório.
- 11. Método de decodificação preditiva de vídeo, de acordo com a reivindicação 10, caracterizado pelo fato de que, na etapa de restauração, durante a decodificação de informações sobre a ordem de exibição de pelo menos uma imagem alvo de decodificação que inclui decodificar a imagem que tem informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório, e que é o primeiro alvo de decodificação depois da conclusão do processo de decodificação para decodificação da imagem de acesso aleatório, o dispositivo de decodificação preditiva de vídeo restaura as informações sobre a ordem de exibição da imagem alvo de decodificação adicionando às informações sobre a ordem de exibição da imagem de acesso aleatório:um valor de diferença entre as informações sobre a ordem de exibição da imagem alvo de decodificação e as informações sobre a ordem de exibição da imagem de acesso aleatório, o valor da diferença obtido pela decodificação dos dados codificados da ordem de exibição da imagem alvo de decodificação;
- 12. Método de decodificação preditiva de vídeo, de acordo com a reivindicação 10, caracterizado pelo fato de que, na etapa de restauração, durante a decodificação das informações sobre a ordem de exibição de cada imagem em uma sequência de uma imagem que seja um alvo de decodificação seguinte depois da imagem de acesso aleatório, para uma imagem contendo informações sobre a ordem de exibição maiores que as informações sobre a ordem de exibição da imagem de acesso aleatório, e que é o primeiro alvo de decodificação depois da conclusão de um processoPetição 870180025957, de 29/03/2018, pág. 21/608/8 de decodificação de geração da imagem de acesso aleatório, o dispositivo de decodificação preditiva de vídeo restaura as informações sobre a ordem de exibição de cada imagem adicionando às informações sobre a ordem de exibição da imagem de acesso aleatório:um valor de diferença entre as informações sobre a ordem de exibição de cada imagem e as informações sobre a ordem de exibição da imagem de acesso aleatório, o valor da diferença obtido pela decodificação dos dados codificados da ordem de exibição de cada imagem.Petição 870180025957, de 29/03/2018, pág. 22/601/11 ϊ***ΛUnidade de erenciamento ____ da memória . , de quadro ‘“'''--1142/11CM £c\l3/11
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010061337A JP2011199396A (ja) | 2010-03-17 | 2010-03-17 | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム |
| PCT/JP2011/055915 WO2011115045A1 (ja) | 2010-03-17 | 2011-03-14 | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BR112012023322A2 BR112012023322A2 (pt) | 2016-05-24 |
| BR112012023322B1 true BR112012023322B1 (pt) | 2018-09-25 |
Family
ID=44649138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112012023322A BR112012023322B1 (pt) | 2010-03-17 | 2011-03-14 | dispositivo de codificação preditiva de imagem em movimento, método de codificação preditiva de imagem em movimento, dispositivo de decodificação preditiva de imagem em movimento e método de decodificação preditiva de imagem em movimento |
Country Status (17)
| Country | Link |
|---|---|
| US (6) | US9113171B2 (pt) |
| EP (3) | EP3300369A1 (pt) |
| JP (1) | JP2011199396A (pt) |
| KR (3) | KR101867461B1 (pt) |
| CN (3) | CN104768020B (pt) |
| AU (9) | AU2011228218B2 (pt) |
| BR (1) | BR112012023322B1 (pt) |
| CA (8) | CA3009695C (pt) |
| ES (2) | ES2655416T3 (pt) |
| MX (1) | MX2012010614A (pt) |
| NO (2) | NO2942965T3 (pt) |
| PL (2) | PL2549758T3 (pt) |
| PT (2) | PT2549758T (pt) |
| RU (6) | RU2601134C2 (pt) |
| SG (2) | SG10201501390XA (pt) |
| TW (7) | TWI479895B (pt) |
| WO (1) | WO2011115045A1 (pt) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011199396A (ja) | 2010-03-17 | 2011-10-06 | Ntt Docomo Inc | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム |
| EP3267681B1 (en) * | 2011-07-02 | 2018-11-21 | Samsung Electronics Co., Ltd. | Apparatus for multiplexing and demultiplexing video data to identify reproducing state of video data |
| US9106927B2 (en) | 2011-09-23 | 2015-08-11 | Qualcomm Incorporated | Video coding with subsets of a reference picture set |
| JP5698644B2 (ja) * | 2011-10-18 | 2015-04-08 | 株式会社Ｎｔｔドコモ | 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム |
| US9432694B2 (en) * | 2012-03-06 | 2016-08-30 | Apple Inc. | Signal shaping techniques for video data that is susceptible to banding artifacts |
| JP6045222B2 (ja) * | 2012-06-28 | 2016-12-14 | 株式会社Ｎｔｔドコモ | 動画像予測復号装置、方法及びプログラム |
| WO2014002899A1 (ja) * | 2012-06-29 | 2014-01-03 | ソニー株式会社 | 符号化装置および符号化方法 |
| GB2516425B (en) * | 2013-07-17 | 2015-12-30 | Gurulogic Microsystems Oy | Encoder and decoder, and method of operation |
| KR102133978B1 (ko) | 2013-11-13 | 2020-07-14 | 삼성전자주식회사 | 압축 데이터를 이용하여 패널 셀프 리프레쉬를 수행할 수 있는 타이밍 컨트롤러, 이의 동작 방법, 및 상기 타이밍 컨트롤러를 포함하는 데이터 처리 시스템 |
| WO2017075804A1 (en) * | 2015-11-06 | 2017-05-11 | Microsoft Technology Licensing, Llc | Flexible reference picture management for video encoding and decoding |
| JP6641344B2 (ja) * | 2017-12-05 | 2020-02-05 | 三菱電機株式会社 | 符号化装置 |
| GB2619430B (en) * | 2019-03-20 | 2024-02-21 | V Nova Int Ltd | Low complexity enhancement video coding |
| CN111124337B (zh) * | 2019-12-17 | 2023-08-01 | 西安万像电子科技有限公司 | 图像显示方法及*** |
| EP4118835A4 (en) * | 2020-03-31 | 2023-05-10 | Beijing Dajia Internet Information Technology Co., Ltd. | HIGH LEVEL SYNTAX METHODS AND DEVICES IN VIDEO CODING |
| CN117221604A (zh) * | 2020-04-03 | 2023-12-12 | 北京达佳互联信息技术有限公司 | 用于视频编解码中的高级语法的方法和设备 |
Family Cites Families (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2161377C2 (ru) * | 1992-12-04 | 2000-12-27 | Сони Корпорейшн | Устройство и способ подготовки к записи на носителе информации кодируемого с переменным параметром сигнала, устройство и способ последовательного сигнала, способ воспроизведения шаблонов с носителя информации |
| US6950469B2 (en) * | 2001-09-17 | 2005-09-27 | Nokia Corporation | Method for sub-pixel value interpolation |
| BRPI0206157B1 (pt) * | 2001-10-17 | 2018-09-25 | Matsushita Electric Ind Co Ltd | método de codificação de figuras móveis e método de decodificação de figuras móveis |
| CN1913634B (zh) * | 2001-11-06 | 2011-08-24 | 松下电器产业株式会社 | 运动图像解码方法 |
| JP4355156B2 (ja) * | 2002-04-16 | 2009-10-28 | パナソニック株式会社 | 画像復号化方法及び画像復号化装置 |
| EP2053863B1 (en) * | 2002-07-11 | 2012-03-07 | Panasonic Corporation | Video decoder display buffer reusing previous picture upon picture resizing. |
| AU2003251964A1 (en) * | 2002-07-16 | 2004-02-02 | Nokia Corporation | A method for random access and gradual picture refresh in video coding |
| MY134659A (en) * | 2002-11-06 | 2007-12-31 | Nokia Corp | Picture buffering for prediction references and display |
| EP1589768A1 (en) * | 2003-01-20 | 2005-10-26 | Matsushita Electric Industrial Co., Ltd. | Image encoding method |
| JP5068947B2 (ja) * | 2003-02-18 | 2012-11-07 | ノキア コーポレイション | ピクチャの符号化方法 |
| JP2004260236A (ja) | 2003-02-24 | 2004-09-16 | Matsushita Electric Ind Co Ltd | 動画像の符号化方法および復号化方法 |
| KR100996043B1 (ko) * | 2003-03-03 | 2010-11-22 | 파나소닉 주식회사 | 화상 부호화 방법 및 화상 복호화 방법 |
| EP1496707A1 (en) * | 2003-07-09 | 2005-01-12 | Matsushita Electric Industrial Co., Ltd. | Encoding and decoding of video images with delayed reference picture refresh |
| JP4591657B2 (ja) * | 2003-12-22 | 2010-12-01 | キヤノン株式会社 | 動画像符号化装置及びその制御方法、プログラム |
| KR100913260B1 (ko) * | 2004-07-01 | 2009-08-21 | 콸콤 인코포레이티드 | 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을 이용하는 방법 및 장치 |
| JP4638874B2 (ja) * | 2004-08-11 | 2011-02-23 | 株式会社日立製作所 | 符号化ストリーム記録媒体、及び画像符号化装置 |
| RU2287909C2 (ru) * | 2004-12-15 | 2006-11-20 | Московский технический университет связи и информатики | Способ преобразования цифрового сигнала изображения и устройство для его реализации |
| WO2006075635A1 (ja) * | 2005-01-17 | 2006-07-20 | Matsushita Electric Industrial Co., Ltd. | 画像復号化方法 |
| WO2006078594A1 (en) * | 2005-01-19 | 2006-07-27 | Thomson Licensing | Method and apparatus for real time parallel encoding |
| US8422561B2 (en) * | 2005-02-09 | 2013-04-16 | March Networks Corporation | Method and system for low-subband content discrimination |
| JP2006246277A (ja) * | 2005-03-07 | 2006-09-14 | Pioneer Electronic Corp | 再符号化装置、再符号化方法、および再符号化用プログラム |
| US8036281B2 (en) * | 2005-06-01 | 2011-10-11 | Canon Kabushiki Kaisha | Image coding apparatus and image coding method |
| RU2368095C1 (ru) * | 2005-07-22 | 2009-09-20 | Мицубиси Электрик Корпорейшн | Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения |
| AU2006320064B2 (en) * | 2005-11-30 | 2010-09-09 | Kabushiki Kaisha Toshiba | Image encoding/image decoding method and image encoding/image decoding apparatus |
| US8155185B2 (en) * | 2005-12-05 | 2012-04-10 | Canon Kabushiki Kaisha | Image coding apparatus and method |
| TW200806040A (en) * | 2006-01-05 | 2008-01-16 | Nippon Telegraph & Telephone | Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs |
| EP1971154A4 (en) * | 2006-01-05 | 2010-10-27 | Nippon Telegraph & Telephone | VIDEO CODING METHOD AND DECODING METHOD, DEVICE THEREFOR, DEVICE THEREFOR AND STORAGE MEDIUM WITH THE PROGRAM |
| WO2007080223A1 (en) * | 2006-01-10 | 2007-07-19 | Nokia Corporation | Buffering of decoded reference pictures |
| US20080165860A1 (en) * | 2006-08-31 | 2008-07-10 | Zohair Sahraoui | H.264 Data processing |
| CN102780883B (zh) * | 2006-10-13 | 2015-03-04 | 汤姆逊许可公司 | 用于包含多视点视频编码的参考图像管理的方法 |
| US20100020879A1 (en) * | 2006-12-21 | 2010-01-28 | Thomson Licensing | Method for decoding a block of a video image |
| JP2008193627A (ja) * | 2007-01-12 | 2008-08-21 | Mitsubishi Electric Corp | 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法 |
| JP5023739B2 (ja) * | 2007-02-28 | 2012-09-12 | ソニー株式会社 | 画像情報符号化装置及び符号化方法 |
| EP1983759A1 (en) * | 2007-04-19 | 2008-10-22 | Matsushita Electric Industrial Co., Ltd. | Estimation of separable adaptive interpolation filters for hybrid video coding |
| JP5188875B2 (ja) * | 2007-06-04 | 2013-04-24 | 株式会社エヌ・ティ・ティ・ドコモ | 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム |
| US8265144B2 (en) * | 2007-06-30 | 2012-09-11 | Microsoft Corporation | Innovations in video decoder implementations |
| US9648325B2 (en) * | 2007-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Video decoding implementations for a graphics processing unit |
| US8699808B2 (en) * | 2007-10-15 | 2014-04-15 | Chih-Ta Star Sung | Method and apparatus of temporary image frame compression |
| FR2924296B1 (fr) * | 2007-11-28 | 2010-05-28 | Canon Kk | Procede et dispositif de traitement d'un flux de donnees multimedia hierarchique transmis sur un reseau avec perte |
| JP5056560B2 (ja) * | 2008-03-17 | 2012-10-24 | 富士通株式会社 | 符号化装置、復号化装置、符号化方法および復号化方法 |
| JP4935746B2 (ja) * | 2008-04-07 | 2012-05-23 | 富士通株式会社 | 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法 |
| JP2009296078A (ja) | 2008-06-03 | 2009-12-17 | Victor Co Of Japan Ltd | 符号化データ再生装置、符号化データ再生方法、および符号化データ再生プログラム |
| EP2157799A1 (en) * | 2008-08-18 | 2010-02-24 | Panasonic Corporation | Interpolation filter with local adaptation based on block edges in the reference frame |
| JP4962525B2 (ja) * | 2009-04-08 | 2012-06-27 | ソニー株式会社 | 再生装置、再生方法、およびプログラム |
| JP2010245970A (ja) * | 2009-04-08 | 2010-10-28 | Sony Corp | 再生装置、再生方法、およびプログラム |
| US8976871B2 (en) * | 2009-09-16 | 2015-03-10 | Qualcomm Incorporated | Media extractor tracks for file format track selection |
| JP2011199396A (ja) | 2010-03-17 | 2011-10-06 | Ntt Docomo Inc | 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム |
| KR101750495B1 (ko) * | 2010-04-16 | 2017-06-27 | 에스케이텔레콤 주식회사 | 인터 예측 방법 및 그 인터 예측 방법을 이용한 동영상 부호화/복호화 방법 |
| US9516379B2 (en) * | 2011-03-08 | 2016-12-06 | Qualcomm Incorporated | Buffer management in video codecs |
| WO2013012372A1 (en) * | 2011-07-15 | 2013-01-24 | Telefonaktiebolaget L M Ericsson (Publ) | An encoder and method thereof for assigning a lowest layer identity to clean random access pictures |
| US9479774B2 (en) | 2012-09-24 | 2016-10-25 | Qualcomm Incorporated | Buffering period and recovery point supplemental enhancement information messages |
| KR102266902B1 (ko) * | 2014-01-13 | 2021-06-18 | 삼성전자주식회사 | 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치 |
-
2010
- 2010-03-17 JP JP2010061337A patent/JP2011199396A/ja active Pending
-
2011
- 2011-03-14 AU AU2011228218A patent/AU2011228218B2/en active Active
- 2011-03-14 RU RU2015122410/08A patent/RU2601134C2/ru active
- 2011-03-14 CA CA3009695A patent/CA3009695C/en active Active
- 2011-03-14 CA CA3094541A patent/CA3094541C/en active Active
- 2011-03-14 CA CA3081303A patent/CA3081303C/en active Active
- 2011-03-14 NO NO15169622A patent/NO2942965T3/no unknown
- 2011-03-14 SG SG10201501390XA patent/SG10201501390XA/en unknown
- 2011-03-14 PT PT117562306T patent/PT2549758T/pt unknown
- 2011-03-14 NO NO11756230A patent/NO2549758T3/no unknown
- 2011-03-14 EP EP17199102.9A patent/EP3300369A1/en not_active Withdrawn
- 2011-03-14 EP EP11756230.6A patent/EP2549758B1/en active Active
- 2011-03-14 CN CN201510165668.6A patent/CN104768020B/zh active Active
- 2011-03-14 BR BR112012023322A patent/BR112012023322B1/pt active IP Right Grant
- 2011-03-14 KR KR1020177015372A patent/KR101867461B1/ko active IP Right Grant
- 2011-03-14 CA CA2935201A patent/CA2935201C/en active Active
- 2011-03-14 WO PCT/JP2011/055915 patent/WO2011115045A1/ja active Application Filing
- 2011-03-14 CN CN201180013583.6A patent/CN102792696B/zh active Active
- 2011-03-14 CA CA3041891A patent/CA3041891C/en active Active
- 2011-03-14 SG SG2012068334A patent/SG184079A1/en unknown
- 2011-03-14 RU RU2012144029/08A patent/RU2568310C2/ru active
- 2011-03-14 MX MX2012010614A patent/MX2012010614A/es active IP Right Grant
- 2011-03-14 KR KR1020127027048A patent/KR101640872B1/ko active IP Right Grant
- 2011-03-14 CA CA2793168A patent/CA2793168C/en active Active
- 2011-03-14 PT PT151696226T patent/PT2942965T/pt unknown
- 2011-03-14 PL PL11756230T patent/PL2549758T3/pl unknown
- 2011-03-14 PL PL15169622T patent/PL2942965T3/pl unknown
- 2011-03-14 ES ES11756230.6T patent/ES2655416T3/es active Active
- 2011-03-14 CA CA3169174A patent/CA3169174A1/en active Pending
- 2011-03-14 EP EP15169622.6A patent/EP2942965B1/en active Active
- 2011-03-14 ES ES15169622.6T patent/ES2655919T3/es active Active
- 2011-03-14 KR KR1020167012926A patent/KR101747195B1/ko active IP Right Grant
- 2011-03-14 CA CA3094540A patent/CA3094540C/en active Active
- 2011-03-14 CN CN201510603845.4A patent/CN105187842B/zh active Active
- 2011-03-17 TW TW100109131A patent/TWI479895B/zh active
- 2011-03-17 TW TW107140720A patent/TWI670965B/zh active
- 2011-03-17 TW TW106136961A patent/TWI619373B/zh active
- 2011-03-17 TW TW107104188A patent/TWI650002B/zh active
- 2011-03-17 TW TW108121288A patent/TWI678913B/zh active
- 2011-03-17 TW TW104100275A patent/TWI611686B/zh active
- 2011-03-17 TW TW108133969A patent/TWI691198B/zh active
-
2012
- 2012-09-14 US US13/618,066 patent/US9113171B2/en active Active
-
2015
- 2015-08-10 US US14/822,657 patent/US10178407B2/en active Active
-
2016
- 2016-01-13 AU AU2016200188A patent/AU2016200188B2/en active Active
- 2016-08-12 RU RU2016133267A patent/RU2628260C1/ru active
-
2017
- 2017-08-02 RU RU2017127527A patent/RU2652438C1/ru active
-
2018
- 2018-03-27 AU AU2018202171A patent/AU2018202171B2/en active Active
- 2018-03-27 AU AU2018202170A patent/AU2018202170B2/en active Active
- 2018-03-27 AU AU2018202169A patent/AU2018202169B2/en active Active
- 2018-03-28 RU RU2018111019A patent/RU2676408C1/ru active
- 2018-12-07 US US16/213,684 patent/US10390042B2/en active Active
- 2018-12-07 US US16/213,660 patent/US10298953B2/en active Active
- 2018-12-13 RU RU2018144129A patent/RU2690220C1/ru active
-
2019
- 2019-04-05 US US16/376,966 patent/US10715829B2/en active Active
- 2019-06-28 US US16/457,066 patent/US10567794B2/en active Active
- 2019-12-11 AU AU2019280009A patent/AU2019280009B2/en active Active
- 2019-12-11 AU AU2019280003A patent/AU2019280003B2/en active Active
-
2021
- 2021-02-05 AU AU2021200759A patent/AU2021200759B2/en active Active
- 2021-11-09 AU AU2021266226A patent/AU2021266226B2/en active Active
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112012023322B1 (pt) | dispositivo de codificação preditiva de imagem em movimento, método de codificação preditiva de imagem em movimento, dispositivo de decodificação preditiva de imagem em movimento e método de decodificação preditiva de imagem em movimento | |
| JP3923898B2 (ja) | 画像符号化方法及び装置 | |
| KR20160007564A (ko) | 높은 프레임 레이트 및 가변 프레임 레이트 캡처를 위한 비디오 압축 튜닝 | |
| JP2007259149A (ja) | 符号化方法 | |
| JP2007067796A (ja) | 符号化方法 | |
| BRPI0714090A2 (pt) | método de codificação de vìdeo | |
| BR112014029982B1 (pt) | Dispositivoe método de decodificação preditiva de vídeo e meio de armazenamento legível por computador | |
| JP2014158130A (ja) | 画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B15K | Others concerning applications: alteration of classification |
Ipc: H04N 19/573 (2014.01), H04N 19/107 (2014.01), H04N |
|
| B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
| B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 14/03/2011, OBSERVADAS AS CONDICOES LEGAIS. |