BR112021009596A2

BR112021009596A2 - codificador, decodificador, método de codificação, e método de decodificação

Info

Publication number: BR112021009596A2
Application number: BR112021009596-9A
Authority: BR
Inventors: Chong Soon Lim; Hai Wei Sun; Han Boon Teo; Jing Ya LI; Che-Wei KUO; Kiyofumi Abe; Tadamasa Toma; Takahiro Nishi; Yusuke Kato
Original assignee: Panasonic Intellectual Property Corporation Of America
Priority date: 2018-12-31
Filing date: 2019-12-23
Publication date: 2021-08-10
Also published as: TWI835963B; WO2020141591A1; KR20210107624A; CN113056909A; JP2023068203A; CA3119646A1; US20220329793A1; MX2021005170A; EP3907990A4; US11394968B2; EP3907990A1; JPWO2020141591A1; TW202032984A; US20230300327A1; US11722662B2; US20210274172A1

Abstract

CODIFICADOR, DECODIFICADOR, MÉTODO DE CODIFICAÇÃO, E MÉTODO DE DECODIFICAÇÃO. Um codificador (100), que codifica um bloco atual a ser codificado em uma imagem, é fornecido. O codificador inclui: um processador (a1) e uma memória (a2), acoplada ao processador (a1), no qual, em operação, o processador (a1) gera uma primeira imagem de previsão, com base em um vetor de movimento, a primeira imagem de previsão sendo uma imagem com precisão de pixel total; gera uma segunda imagem de previsão, utilizando um filtro de interpolação pela interpolação de um valor em uma posição de pixel fracionado entre as posições de pixel total incluídas na primeira imagem de previsão; e codifica o bloco atual, com base na segunda imagem de previsão, e na utilização do filtro de interpolação, o filtro de interpolação é comutado entre um primeiro filtro de interpolação e um segundo filtro de interpolação que difere, em um número total de saídas, do primeiro filtro de interpolação.

Description

Relatório Descritivo da Patente de Invenção para "CODIFI- CADOR, DECODIFICADOR, MÉTODO DE CODIFICAÇÃO, E MÉ- TODO DE DECODIFICAÇÃO". Campo Técnico

[0001] Esta descrição refere-se à codificação de vídeo, particular- mente aos sistemas, componentes e métodos de codificação e decodi- ficação de vídeo. Técnica Fundamental

[0002] Com o avanço da tecnologia de codificação de vídeo, a par- tir de H.261 e MPEG-1 até H.264/AVC (Codificação de Vídeo Avança- da), MPEG-LA, H.265/HEVC (Codificação de Vídeo de Alta Eficiência) e H.266/VVC (Codec de Vídeo Versátil), ainda permanece uma neces- sidade constante de se fornecer aperfeiçoamentos e otimizações à tecnologia de codificação de vídeo, para processar um número sempre crescente de dados de vídeo digital em várias aplicações.

[0003] É notado que a Literatura de Não Patente (NPL) 1 se refere a um exemplo do padrão convencional na tecnologia de codificação de vídeo mencionada acima. Lista de Citação Literatura de Não Patente

[0004] NPL 1: H.265 (ISO/IEC 23008-2 HEVC)/HEVC(Codificação de Vídeo de Alta Eficiência) Sumário da Invenção Problemas Técnicos

[0005] Para um método de codificação e um método de decodifi- cação, um novo esquema deve ser proposto, a fim de se aperfeiçoar uma eficiência de codificação, aperfeiçoar uma qualidade de imagem, reduzir a quantidade de processamento, reduzir a escala do conjunto de circuitos, ou selecionar, adequadamente, um elemento/operação constituinte para um filtro, um bloco, um tamanho, um vetor de movi-

mento, uma imagem de referência, um bloco de referência, etc.

[0006] A presente descrição fornece as configurações ou métodos que contribuem, por exemplo, para pelo menos um dentre: um aperfei- çoamento em uma eficiência de codificação; um aperfeiçoamento em uma qualidade de imagem; uma redução da quantidade de processa- mento; uma redução da escala do conjunto de circuito; um aperfeiço- amento na velocidade de processamento; seleção adequada de um elemento/operação constituinte. Deve-se notar que a presente descri- ção pode incluir configurações ou métodos que contribuem para os benefícios, além dos benefícios mencionados acima. Soluções para os Problemas

[0007] Por exemplo, um codificador de acordo com um aspecto da presente descrição, é um codificador que codifica um bloco atual a ser codificado, em uma imagem. O codificador inclui: um conjunto de cir- cuitos, e memória acoplada ao conjunto de circuitos, na qual, em ope- ração, o conjunto de circuitos gera uma primeira imagem de previsão, com base em um vetor de movimento, a primeira imagem de previsão sendo uma imagem com precisão de pixel total; gera uma segunda imagem de previsão utilizando um filtro de interpolação, pela interpola- ção de um valor em uma posição de pixel fracionado, entre as posi- ções de pixel total incluídas na primeira imagem de previsão; e codifica o bloco atual, com base na segunda imagem de previsão, e na utiliza- ção do filtro de interpolação, o filtro de interpolação é comutado entre um primeiro filtro de interpolação e um segundo filtro de interpolação diferente, em um número total de saídas, do primeiro filtro de interpo- lação.

[0008] Algumas implementações das modalidades da presente descrição podem aperfeiçoar uma eficiência de codificação, podem simplesmente ser um processo de codificação/decodificação, podem acelerar a velocidade de um processo de codificação/decodificação,

podem selecionar, de forma eficiente, os componentes/operações adequados utilizados na codificação e decodificação, tal como filtro adequado, tamanho de bloco, vetor de movimento, imagem de refe- rência, bloco de referência, etc.

[0009] Os benefícios e vantagens adicionais das modalidades descritas se tornarão aparentes a partir da especificação e dos dese- nhos. Os benefícios e/ou vantagens podem ser individualmente obti- dos pelas várias modalidades e características da especificação e dos desenhos, nem todos os quais precisam ser fornecidos, a fim de se obter um ou mais dos ditos benefícios e/ou vantagens.

[0010] Deve-se notar que as modalidades, geral e específica, po- dem ser implementadas como um sistema, um método, um circuito integrado, um programa de computador, um meio de armazenamento, ou qualquer combinação seletiva dos mesmos. Efeito Vantajoso da Invenção

[0011] A configuração ou método, de acordo com um aspecto da presente descrição, contribui para, por exemplo, pelo menos um den- tre: um aperfeiçoamento em uma eficiência de codificação; um aper- feiçoamento em uma qualidade de imagem; uma redução da quanti- dade de processamento; uma redução da escala do conjunto de circui- tos; um aperfeiçoamento na velocidade de processamento; seleção adequada de um elemento/operação constituinte. Deve-se notar que a configuração ou método, de acordo com um aspecto da presente des- crição, pode contribuir para benefícios além dos benefícios menciona- dos acima. Breve Descrição dos Desenhos

[0012] A figura 1 é um diagrama em bloco, ilustrando uma configu- ração funcional de um codificador, de acordo com uma modalidade; a figura 2 é um fluxograma indicando um exemplo de um processo de codificação geral realizado pelo codificador;

a figura 3 é um diagrama conceitual ilustrando um exemplo da divisão de bloco;

a figura 4A é um diagrama conceitual ilustrando um exem- plo de uma configuração de fatia;

a figura 4B é um diagrama conceitual ilustrando um exem- plo de uma configuração de “tile”;

a figura 5A é um gráfico indicando as funções básicas de transformação para vários tipos de transformação;

a figura 5B é um diagrama conceitual ilustrando transfor- mações ilustrativas que variam espacialmente (SVT);

a figura 6A é um diagrama conceitual ilustrando um exem- plo de um formato de filtro utilizado em um filtro de circuito adaptativo (ALF);

a figura 6B é um diagrama conceitual ilustrando outro exemplo de um formato de filtro utilizado em um ALF;

a figura 60 é um diagrama conceitual ilustrando outro exemplo de um formato de filtro utilizado em um ALF;

a figura 7 é um diagrama em bloco indicando um exemplo de uma configuração específica de um filtro de circuito, que funciona como um filtro de desbloqueio (DBF);

a figura 8 é um diagrama conceitual indicando um exemplo de um filtro de desbloqueio possuindo uma característica de filtragem simétrica com relação a um limite de bloco;

a figura 9 é um diagrama conceitual para ilustrar um limite de bloco, no qual um processo de filtro de desbloqueio é realizado;

a figura 10 é um diagrama conceitual indicando exemplos de valores Bs;

a figura 11 é um fluxograma ilustrando um exemplo de um processo realizado por um processador de previsão do codificador;

a figura 12 é um fluxograma ilustrando outro exemplo de um processo realizado por um processador de previsão do codificador;

a figura 13 é um fluxograma ilustrando outro exemplo de um processo realizado pelo processador de previsão do codificador;

a figura 14 é um diagrama conceitual ilustrando sessenta e sete modos de intraprevisão utilizados na intraprevisão em uma moda- lidade;

a figura 15 é um fluxograma ilustrando um exemplo do fluxo de processamento básico de interprevisão;

a figura 16 é um fluxograma ilustrando um exemplo de deri- vação de vetores de movimento;

a figura 17 é um fluxograma ilustrando outro exemplo de derivação dos vetores de movimento;

a figura 18 é um fluxograma ilustrando outro exemplo de derivação de vetores de movimento;

a figura 19 é um fluxograma ilustrando um exemplo de in- terprevisão no intermodo normal;

a figura 20 é um fluxograma ilustrando um exemplo de in- terprevisão no modo de mistura;

a figura 21 é um diagrama conceitual para ilustrar um exemplo de um processo de derivação de vetor de movimento no mo- do de mistura;

a figura 22 é um fluxograma ilustrando um exemplo do pro- cesso de conversão de aumento de taxa de quadro (FRUC);

a figura 23 é um diagrama conceitual para ilustrar um exemplo de combinação de padrão (combinação bilateral) entre dois blocos ao longo de uma trajetória de movimento;

a figura 24 é um diagrama conceitual para ilustrar um exemplo da combinação de padrão (combinação de gabarito) entre um gabarito em uma imagem atual e um bloco em uma imagem de refe- rência;

a figura 25A é um diagrama conceitual para ilustrar um exemplo de derivação de um vetor de movimento de cada sub-bloco, com base nos vetores de movimento de uma pluralidade de blocos vi- zinhos;

a figura 25B é um diagrama conceitual para ilustrar um exemplo de derivação de um vetor de movimento de cada sub-bloco no modo afim, no qual três pontos de controle são utilizados;

a figura 26A é um diagrama conceitual para ilustrar um mo- do de mistura afim;

a figura 26B é um diagrama conceitual para ilustrar um mo- do de mistura afim, no qual dois pontos de controle são utilizados;

a figura 26C é um diagrama conceitual para ilustrar um mo- do de mistura afim, no qual três pontos de controle são utilizados;

a figura 27 é um fluxograma ilustrando um exemplo de um processo no modo de mistura afim;

a figura 28A é um diagrama conceitual para ilustrar um in- termodo afim no qual dois pontos de controle são utilizados;

a figura 28B é um diagrama conceitual para ilustrar um in- termodo afim, no qual três pontos de controle são utilizados;

a figura 29 é um fluxograma ilustrando um exemplo de um processo no intermodo afim;

a figura 30A é um diagrama conceitual para ilustrar um in- termodo afim, no qual um bloco atual possui três pontos de controle e um bloco vizinho possui dois pontos de controle;

a figura 30B é um diagrama conceitual para ilustrar um in- termodo afim, no qual um bloco atual possui dois pontos de controle e um bloco vizinho possui três pontos de controle;

a figura 31A é um fluxograma ilustrando um processo do modo de mistura incluindo o refinamento de vetor de movimento do decodificador (DMVR);

a figura 31B é um diagrama conceitual para ilustrar um exemplo de um processo DMVR;

a figura 32 é um fluxograma ilustrando um exemplo de ge- ração de uma imagem de previsão;

a figura 33 é um fluxograma ilustrando outro exemplo de geração de uma imagem de previsão;

a figura 34 é um fluxograma ilustrando outro exemplo de geração de uma imagem de previsão;

a figura 35 é um fluxograma ilustrando um exemplo de um processo de correção de imagem de previsão, realizado por um pro- cesso de compensação de movimento de bloco sobreposto (OBMC);

a figura 36 é um diagrama conceitual para ilustrar um exemplo de um processo de correção de imagem de previsão realiza- do por um processo OBMC;

a figura 37 é um diagrama conceitual para ilustrar um exemplo de um processo de correção de imagem de previsão realiza- do por um processo OBMC;

a figura 38 é um diagrama conceitual para ilustrar um mo- delo que assume o movimento linear uniforme;

a figura 39 é um diagrama conceitual para ilustrar um exemplo de um método de geração de imagem de previsão, utilizando um processo de correção de luminescência realizado por um processo de compensação de iluminação local (LIC);

a figura 40 é um diagrama em bloco ilustrando um exemplo de montagem do codificador;

a figura 41 é um diagrama em bloco, ilustrando uma confi- guração funcional de um decodificador, de acordo com uma modalida- de;

a figura 42 é um fluxograma ilustrando um exemplo de um processo de decodificação geral, realizado pelo decodificador;

a figura 43 é um fluxograma ilustrando um exemplo de um processo realizado por um processador de previsão do decodificador;

a figura 44 é um fluxograma ilustrando outro exemplo de um processo realizado pelo processador de previsão do decodificador;

a figura 45 é um fluxograma ilustrando um exemplo de in- terprevisão no intermodo normal no decodificador;

a figura 46 é um diagrama em bloco ilustrando um exemplo de montagem do decodificador;

a figura 47 é um fluxograma ilustrando um exemplo de um processo para determinar um filtro de interpolação, de acordo com uma modalidade;

a figura 48 é um diagrama ilustrando um exemplo do pri- meiro filtro de interpolação, de acordo com a modalidade;

a figura 49 é um diagrama ilustrando um exemplo do se- gundo filtro de interpolação, de acordo com a modalidade;

a figura 50 é um diagrama ilustrando um exemplo de um bloco ao qual o filtro de interpolação determinado é aplicado, de acor- do com a modalidade;

A figura 51 é um diagrama em bloco ilustrando uma confi- guração geral de um sistema de fornecimento de conteúdo para im- plementar um serviço de distribuição de conteúdo;

a figura 52 é um diagrama conceitual ilustrando um exem- plo de uma estrutura de codificação na codificação escalonável;

a figura 53 é um diagrama conceitual ilustrando um exem- plo de uma estrutura de codificação na codificação escalonável;

a figura 54 é um diagrama conceitual ilustrando um exem- plo de uma tela de exibição de uma página da rede;

a figura 55 é um diagrama conceitual ilustrando um exem- plo de uma tela de exibição de uma página da rede;

a figura 56 é um diagrama em bloco ilustrando um exemplo de um smartphone; a figura 57 é um diagrama em bloco ilustrando um exemplo de uma configuração de um smartphone. Descrição das Modalidades Ilustrativas

[0013] Um codificador, de acordo com um aspecto da presente descrição, é um codificador que codifica um bloco atual a ser codifica- do em uma imagem. O codificador inclui: o conjunto de circuitos; e memória acoplada ao conjunto de circuitos, em que, em operação, o conjunto de circuitos: gera uma primeira imagem de previsão, baseada em um vetor de movimento, a primeira imagem de previsão sendo uma imagem com precisão de pixel total; gera uma segunda imagem de previsão utilizando um filtro de interpolação pela interpolação de um valor em uma posição de pixel fracionado entre as posições de pixel total incluídas na primeira imagem de previsão; e codifica o bloco atual com base na segunda imagem de previsão, e na utilização do filtro de interpolação, o filtro de interpolação é comutado entre um primeiro fil- tro de interpolação e um segundo filtro de interpolação diferente em um número total de saídas, do primeiro filtro de interpolação.

[0014] Com isso, na geração da segunda imagem de previsão com a precisão de pixel fracionado, o filtro de interpolação pode ser comu- tado entre o primeiro filtro de interpolação e o segundo filtro de interpo- lação, diferentes um do outro no número total de saídas. De acordo, o filtro de interpolação adequado para o bloco atual pode ser utilizado, e, dessa forma, é possível se realizar um equilíbrio entre o aumen- to/redução na largura de banda de memória e deterioração/aperfeiçoa- mento da qualidade de imagem.

[0015] Ademais, por exemplo, no codificador de acordo com um aspecto da presente descrição, na comutação do filtro de interpolação, é julgado se um tamanho do bloco atual é maior do que um tamanho limite, quando o tamanho do bloco atual for maior do que o tamanho limite, um filtro de interpolação para uso na compensação de movi- mento do bloco atual é determinado como sendo o primeiro filtro de interpolação, quando o tamanho do bloco atual não for maior do que o tamanho limite, o filtro de interpolação para uso na compensação de movimento do bloco atual é determinado como sendo o segundo filtro de interpolação, a segunda imagem de previsão é gerada utilizando-se o filtro de interpolação determinado, e o segundo filtro de interpolação pode possuir menos saídas do que o primeiro filtro de interpolação.

[0016] Com isso, quando o tamanho do bloco atual não for maior do que o tamanho limite, o segundo filtro de interpolação, possuindo menos saídas do que o caso no qual o tamanho do bloco atual é maior do que o tamanho limite, pode ser utilizado na compensação de movi- mento. Quando a compensação de movimento é realizada em uma base de bloco menor, o número de vezes em que a compensação de movimento é realizada aumenta, e o número de vezes que as amos- tras são lidas a partir da memória, para realizar a compensação de movimento, também aumenta. Por outro lado, quando o número total de saídas do filtro de interpolação diminui, o número total de amostras lidas a partir da memória para realizar o processo de interpolação di- minui. De acordo, o filtro de interpolação, possuindo menos saídas pa- ra o bloco menor, pode ser utilizado para reduzir o número total de amostras por leitura, e, dessa forma, é possível se suprimir um aumen- to na largura de banda de memória, mesmo quando o número de ve- zes em que as amostras são lidas, aumentar.

[0017] Ademais, por exemplo, no codificador, de acordo com um aspecto da presente descrição, o primeiro filtro de interpolação pode ser um filtro de 8 saídas.

[0018] Com isso, o filtro de 8 saídas pode ser utilizado como o primeiro filtro de interpolação, e é possível se realizar um equilíbrio en- tre a precisão de interpolação e o aumento na largura de banda de memória.

[0019] Ademais, por exemplo, no codificador de acordo com um aspecto da presente descrição, o segundo filtro de interpolação pode ser um filtro de 6 saídas.

[0020] Com isso, o filtro de 6 saídas pode ser utilizado como o se- gundo filtro de interpolação, e é possível se realizar um equilíbrio entre a precisão da interpolação e a redução na largura de banda de memó- ria.

[0021] Ademais, por exemplo, no codificador de acordo com um aspecto da presente descrição, o tamanho limite pode ser de 4 x 4 pixels.

[0022] Com isso, o segundo filtro de interpolação pode ser aplica- do ao bloco de 4 x 4 pixels, e é possível se reduzir de forma eficiente a largura de banda de memória.

[0023] Ademais, por exemplo, no codificador, de acordo com um aspecto da presente descrição, o bloco atual pode ser um sub-bloco do modo afim.

[0024] Com isso, o segundo filtro de interpolação pode ser aplica- do ao sub-bloco do modo afim. De acordo, é possível se reduzir a car- ga de processamento da compensação de movimento afim, possuindo uma carga de processamento relativamente alto.

[0025] Por exemplo, um decodificador, de acordo com um aspecto da presente descrição, é um decodificador que decodifica um bloco atual a ser decodificado em uma imagem. O decodificador inclui: um conjunto de circuitos, e uma memória acoplada ao conjunto de circui- tos, em que, em operação, o conjunto de circuitos: gera uma primeira imagem de previsão com base em um vetor de movimento, a primeira imagem de previsão sendo uma imagem com precisão de pixel total; gera uma segunda imagem de previsão utilizando um filtro de interpo- lação pela interpolação de um valor em uma posição de pixel fraciona-

do entre as posições de pixel total, incluídas na primeira imagem de previsão; e decodifica o bloco atual com base na segunda imagem de previsão, e na utilização do filtro de interpolação, o filtro de interpola- ção é intercalado entre um primeiro filtro de interpolação e um segun- do filtro de interpolação diferente, em um número total de saídas, do primeiro filtro de interpolação.

[0026] Com isso, na geração da segunda imagem de previsão com a previsão de pixel fracionado, o filtro de interpolação pode ser interca- lado entre o primeiro filtro de interpolação e o segundo filtro de interpo- lação, diferentes um do outro no número total de saídas. De acordo, o filtro de interpolação adequado para o bloco atual pode ser utilizado e, dessa forma, é possível se realizar um equilíbrio entre o aumen- to/redução na largura de banda de memória e deterioração/aperfeiçoa- mento na qualidade de imagem.

[0027] Ademais, por exemplo, no decodificador, de acordo com um aspecto da presente descrição, na comutação do filtro de interpolação é julgado se um tamanho do bloco atual é maior do que um tamanho limite; quando o tamanho do bloco atual for maior do que o tamanho limite, um filtro de interpolação para uso na compensação de movi- mento do bloco atual, é determinado como sendo o primeiro filtro de interpolação; quando o tamanho do bloco atual não for maior do que o tamanho limite, o filtro de interpolação para uso na compensação de movimento do bloco atual, é determinado como sendo o segundo filtro de interpolação; a segunda imagem de previsão é gerada utilizando-se o filtro de interpolação determinado, e o segundo filtro de interpolação pode ter menos saídas do que o primeiro filtro de interpolação.

[0028] Com isso, quando o tamanho do bloco atual não for maior do que o tamanho limite, o segundo filtro de interpolação, que possui menos saídas do que o caso no qual o tamanho do bloco atual é maior do que o tamanho limite, pode ser utilizado na compensação de movi-

mento. Quando a compensação de movimento é realizada com base no bloco menor, o número de vezes em que as a compensação de movimento é realizada aumenta, e o número de vezes em que as amostras são lidas a partir da memória, para realizar a compensação de movimento, também aumenta. Por outro lado, quando o número total de saídas do filtro de interpolação diminui, o número total de amostras lidas a partir da memória, para realizar o processo de inter- polação, diminui. De acordo, o filtro de interpolação, possuindo menos saídas para o bloco menor, pode ser utilizado para reduzir o número total de amostras por leitura, e, dessa forma, é possível se suprimir um aumento na largura de banda de memória, mesmo quando o número de vezes em que as amostras são lidas, aumenta.

[0029] Ademais, por exemplo, no decodificador de acordo com um aspecto da presente descrição, o primeiro filtro de interpolação pode ser um filtro de 8 saídas.

[0030] Com isso, o filtro de 8 saídas pode ser utilizado como o primeiro filtro de interpolação, e é possível se realizar um equilíbrio en- tre a precisão de interpolação e o aumento na largura de banda de memória.

[0031] Ademais, por exemplo, no decodificador de acordo com um aspecto da presente descrição, o segundo filtro de interpolação pode ser um filtro de 6 saídas.

[0032] Com isso, o filtro de 6 saídas pode ser utilizado como o se- gundo filtro de interpolação, e é possível se realizar um equilíbrio entre a precisão de interpolação e a redução na largura de banda da memó- ria.

[0033] Ademais, por exemplo, no decodificador de acordo com um aspecto da presente invenção, o tamanho limite pode ser de 4 x 4 pixels.

[0034] Com isso, o segundo filtro de interpolação pode ser aplica-

do ao bloco de 4 x 4 pixels e é possível se reduzir de forma eficiente a largura de banda da memória.

[0035] Ademais, por exemplo, no decodificador de acordo com um aspecto da presente descrição, o bloco atual pode ser um sub-bloco do modo afim.

[0036] Com isso, o segundo filtro de interpolação pode ser aplica- do ao sub-bloco do modo afim. De acordo, é possível se reduzir a car- ga de processamento da compensação de movimento afim possuindo uma carga de processamento relativamente alta.

[0037] Adicionalmente, esses aspectos gerais e específicos po- dem ser implementados utilizando-se um sistema, um dispositivo, um método, um circuito integrado, um programa de computador, um meio de gravação legível por computador, tal como um CD-ROM, ou qual- quer combinação de sistemas, dispositivos, métodos, circuitos integra- dos, programas de computador ou meio de gravação.

[0038] Doravante, as modalidades serão descritas com referência aos desenhos. Note-se que as modalidades descritas abaixo ilustram, cada uma, um exemplo geral ou específico. Os valores numéricos, formatos, materiais, componentes, a disposição e conexão dos com- ponentes, etapas, a relação e ordem das etapas, etc., indicados nas modalidades a seguir, são meros exemplos e não devem limitar o es- copo das reivindicações.

[0039] As modalidades de um codificador e de um decodificador serão descritas abaixo. As modalidades são exemplos de um codifica- dor e de um decodificador, aos quais os processos e/ou configurações apresentados na descrição dos aspectos da presente descrição são aplicáveis. Os processos e/ou as configurações podem ser implemen- tados também em um codificador e em um decodificador diferente dos mesmos, de acordo com as modalidades. Por exemplo, com referência aos processos e/ou configurações, como aplicados às modalidades,

qualquer um dos abaixo pode ser implementado:

[0040] (1) Qualquer um dos componentes do codificador ou deco- dificador, de acordo com as modalidades apresentadas na descrição dos aspectos da presente descrição, podem ser substituídos ou com- binados com outro componente apresentado em qualquer outro local na descrição dos aspectos da presente descrição;

[0041] (2) No codificador ou decodificador de acordo com as mo- dalidades, mudanças discricionárias podem ser realizadas às funções ou processos realizados por um ou mais componentes do codificador ou decodificador, tal como adição, substituição, remoção, etc., das funções ou processos. Por exemplo, qualquer função ou processo po- de ser substituído ou combinado com outra função ou processo apre- sentado em outro local na descrição dos aspectos da presente descri- ção.

[0042] (3) Nos métodos implementados pelo codificador ou decodi- ficador, de acordo com as modalidades, mudanças discricionárias po- dem ser realizadas, tal como adição, substituição e remoção de um ou mais dos processos incluídos no método. Por exemplo, qualquer pro- cesso no método pode ser substituído ou combinado com outro pro- cesso apresentado em outro local, na descrição dos aspectos da pre- sente descrição.

[0043] (4) Um ou mais componentes incluídos no codificador ou decodificador, de acordo com as modalidades, podem ser combinados com um componente apresentado em outro local na descrição dos as- pectos da presente descrição, podem ser combinados com um com- ponente incluindo uma ou mais funções apresentadas em outro local na descrição dos aspectos da presente descrição, e podem ser combi- nados com um componente que implemente um ou mais processos implementados por um componente apresentado na descrição dos as- pectos da presente descrição.

[0044] (5) Um componente, incluindo uma ou mais funções do co- dificador ou do decodificador, de acordo com as modalidades, ou um componente que implemente um ou mais processos do codificador ou do decodificador, de acordo com as modalidades, podem ser combi- nados ou substituídos por um componente apresentado em outro local na descrição dos aspectos da presente descrição, com um componen- te incluindo uma ou mais funções apresentadas em outro local na des- crição dos aspectos da presente descrição, ou com um componente que implemente um ou mais processos apresentados em outro local na descrição dos aspectos da presente descrição.

[0045] (6) Nos métodos implementados pelo codificador ou decodi- ficador de acordo com as modalidades, qualquer um dos processos incluídos no método pode ser substituído ou combinado com um pro- cesso apresentado em outro local na descrição dos aspectos da pre- sente descrição ou com qualquer processo correspondente ou equiva- lente.

[0046] (7) Um ou mais processos incluídos nos métodos imple- mentados pelo codificador ou decodificador, de acordo com as modali- dades, podem ser combinados com um processo apresentado em ou- tro local na descrição dos aspectos da presente descrição.

[0047] (8) A implementação dos processos e/ou das configurações apresentados na descrição dos aspectos da presente descrição não está limitada ao codificador ou decodificador, de acordo com as moda- lidades. Por exemplo, os processos e/ou configurações podem ser im- plementados em um dispositivo utilizado para uma finalidade diferente do codificador de imagem em movimento ou decodificador de imagem em movimento, descritos nas modalidades. Codificador

[0048] Primeiro, um codificador de acordo com uma modalidade será descrito. A figura 1 é um diagrama em bloco, ilustrando uma con-

figuração funcional do codificador 100, de acordo com a modalidade. O codificador 100 é um codificador de vídeo que codifica um vídeo em unidades de um bloco.

[0049] Como ilustrado na figura 1, o codificador 100 é um aparelho que codifica uma imagem em unidades de um bloco, e inclui um divi- sor 102, um subtraidor 104, um transformador 106, um quantizador 108, um codificador por entropia 110, um quantizador inverso 112, um transformador inverso 114, um somador 116, uma memória de bloco 118, um filtro de circuito 120, uma memória de quadro 122, um intra- previsor 124, um interprevisor 126 e um controlador de previsão 128.

[0050] O codificador 100 é implementado como, por exemplo, um processador genérico e uma memória. Nesse caso, quando um pro- grama de software armazenado na memória é executado pelo proces- sador, o processador funciona como divisor 102, subtraidor 104, trans- formador 106, quantizador 108, codificador por entropia 110, quantiza- dor inverso 112, transformador inverso 114, somador 116, filtro de cir- cuito 120, intraprevisor 124, interprevisor 126 e controlador de previ- são 128. Alternativamente, o codificador 100 pode ser implementado como um ou mais circuitos eletrônicos dedicados que correspondem ao divisor 102, subtraidor 104, transformador 106, quantizador 108, codificador por entropia 110, quantizador inverso 112, transformador inverso 114, somador 116, filtro de circuito 120, intraprevisor 124, in- terprevisor 126 e controlador de previsão 128.

[0051] Doravante, um fluxo geral de processos realizados pelo co- dificador 100 é descrito e, então, cada um dos elementos constituintes incluídos no codificador 100 será descrito. Fluxo Geral do Processo de Codificação

[0052] A figura 2 é um fluxograma indicando um exemplo de um processo de codificação geral realizado pelo codificador 100.

[0053] Primeiro, o divisor 102 do codificador 100 divide cada uma das imagens incluídas em uma imagem de entrada, que é um vídeo, em uma pluralidade de blocos possuindo um tamanho fixo (por exem- plo, 128 x 128 pixels) (Etapa Sa 1). O divisor 102, então, seleciona um padrão de divisão para o bloco de tamanho fixo (também referido co- mo um formato de bloco) (Etapa Sa 2). Em outras palavras, o divisor 102 divide, adicionalmente, o bloco de tamanho fixo em uma pluralida- de de blocos que formam o padrão de divisão selecionado. O codifica- dor 100 realiza, para cada um dentre a pluralidade de blocos, Etapas Sa 3aSa 9 para o bloco (que é um bloco atual a ser codificado).

[0054] Em outras palavras, um processador de previsão que inclui todos ou parte de intraprevisor 124, interprevisor 126, e controlador de previsão 128 gera um sinal de previsão (também referido como um bloco de previsão) do bloco atual a ser codificado (também referido como um bloco atual) (Etapa Sa 3).

[0055] A seguir, o subtraidor 104 gera uma diferença entre o bloco atual e um bloco de previsão como um residual de previsão (também referido como um bloco de diferença) (Etapa Sa 4).

[0056] A seguir, o transformador 106 transforma o bloco de dife- rença, e o quantizador 104 quantiza o resultado, para gerar uma plura- lidade de coeficientes quantizados (Etapa Sa 5). Deve-se notar que o bloco possuindo a pluralidade de coeficientes quantizados, também é referido como um bloco de coeficiente.

[0057] A seguir, o codificador por entropia 110 codifica (especifi- camente, codifica por entropia) o bloco de coeficientes e um parâmetro de previsão relacionado com a geração de um sinal de previsão, para gerar um sinal codificado (Etapa Sa 6). Deve-se notar que o sinal co- dificado também é referido como uma sequência de bits codificados, uma sequência de bits comprimidos, ou uma sequência.

[0058] A seguir, o quantizador inverso 112 realiza a quantização inversa do bloco de coeficientes e o transformador inverso 114 realiza a quantização inversa do resultado, para restaurar uma pluralidade de residuais de previsão (isso é, um bloco de diferença) (Etapa Sa 7).

[0059] A seguir, o somador 116 adiciona o bloco de previsão ao bloco de diferença restaurada como uma imagem reconstruída (tam- bém referida como um bloco reconstruído ou um bloco de imagem de- codificada) (Etapa Sa 8). Dessa forma, a imagem reconstruída é ge- rada.

[0060] Quando a imagem reconstruída é gerada, o filtro de circuito 120 realiza a filtragem da imagem reconstruída como necessário (Eta- pa Sa 9).

[0061] O codificador 100, então, determina se a codificação de to- da a imagem foi terminada (Etapa Sa 10). Quando da determinação de que a codificação ainda não foi terminada (Não na Etapa Sa 10), os processos da Etapa Sa 2 são executados repetidamente.

[0062] Apesar de o codificador 100 selecionar um padrão de divi- são para um bloco de tamanho fixo, e codificar cada bloco de acordo com o padrão de divisão no exemplo descrito acima, é notado que ca- da bloco pode ser codificado de acordo com um padrão corresponden- te dentre uma pluralidade de padrões de divisão. Em cada caso, o co- dificador 100 pode avaliar um custo para cada um dentre a pluralidade de padrões de divisão, e, por exemplo, pode selecionar o sinal codifi- cado obtenível pela codificação, de acordo com o padrão de divisão, que resulta no custo mais baixo como um sinal codificado que é envia- do.

[0063] Como ilustrado, os processos nas Etapas Sa 1 a Sa 10 são realizados sequencialmente pelo codificador 100. Alternativamen- te, dois ou mais dos processos podem ser realizados em paralelo, os processos podem ter nova ordenação, etc. Divisor

[0064] O divisor 102 divide cada uma das imagens incluídas em um vídeo de entrada em uma pluralidade de blocos, e envia cada blo- co para o subtraidor 104. Por exemplo, o divisor 102 primeiro divide uma imagem em blocos de um tamanho fixo (por exemplo, 128 x 128). Outros tamanhos de bloco fixo podem ser empregados. O bloco de tamanho fixo é referido também como uma unidade de árvore de codi- ficação (CTU). O divisor 102, então, divide cada bloco de tamanho fixo em blocos de tamanhos variáveis (por exemplo, 64 x 64 ou menor), com base na divisão de bloco tipo quadtree e/ou binária recursiva. Em outras palavras, o divisor 102 seleciona um padrão de divisão. O bloco de tamanho variável também é referido como uma unidade de codifi- cação (CU), uma unidade de previsão (PU), ou uma unidade de trans- formação (TU). Deve-se notar que, em vários tipos de exemplos de processamento, não existe a necessidade de se diferenciar entre CU, PU e TU; todos ou alguns dos blocos em uma imagem podem ser pro- cessados em unidades de uma CU, uma PU ou uma TU.

[0065] A figura 3 é um diagrama conceitual ilustrando um exemplo de divisão de bloco de acordo com uma modalidade. Na figura 3, as linhas sólidas representam limites de bloco dos blocos divididos pela divisão de bloco quadtree, e as linhas tracejadas representam os limi- tes de bloco dos blocos divididos pela divisão de bloco de árvore biná- ria.

[0066] Aqui, o bloco 10 é um bloco quadrado possuindo 128 x 128 pixels (bloco de 128 x 128). Esse bloco 10 de 128 x 128 é primeiro di- vidido em quatro blocos quadrados de 64 x 64 (divisão de bloco qua- dtree).

[0067] O bloco superior esquerdo de 64 x 64 é adicionalmente di- vidido verticalmente em dois blocos retangulares de 32 x 64, e o bloco esquerdo de 32 x 64 é adicionalmente dividido verticalmente em dois blocos retangulares de 16 x 64 (divisão de bloco de árvore binária). Como resultado disso, o bloco superior esquerdo de 64 x 64 é dividido em dois blocos de 16 x 64 11 e 12 e um bloco de 32 x 64 13.

[0068] O bloco superior direito de 64 x 64 é dividido horizontalmen- te em dois blocos retangulares de 64 x 32 14 e 15 (divisão de três blo- cos binários).

[0069] O bloco inferior esquerdo de 64 x 64 é primeiro dividido em quatro blocos quadrados de 32 x 32 (divisão de bloco quadtree). O bloco superior esquerdo e o bloco inferior direito, dentre os quatro blo- cos de 32 x 32, são divididos adicionalmente. O bloco superior es- querdo de 32 x 32 é verticalmente dividido em dois blocos retangulares de 16 x 32, e o bloco direito de 16 x 32 é horizontalmente dividido em dois blocos de 16 x 16 (divisão de bloco de árvore binária). O bloco inferior direito de 32 x 32 é horizontalmente dividido em dois blocos de 32 x 16 (divisão de bloco de árvore binária). Como resultado disso, o bloco inferior esquerdo de 64 x 64 é dividido em um bloco de 16 x 32 16, dois blocos de 16 x 16 17 e 18, dois blocos de 32 x 32 19e 20 e dois blocos de 32 x 16 21 e 22.

[0070] O bloco inferior direito de 64 x 64 23 não é dividido.

[0071] Como descrito acima, na figura 3, o bloco 10 é dividido em treze blocos de tamanho variável 11 a 23, com base na divisão de blo- co de árvore binária e quadtree recursiva. Esse tipo de divisão também é referido como divisão quadtree mais árvore binária (QTBT).

[0072] É notado que, na figura 3, um bloco é dividido em quatro ou dois blocos (divisão de bloco quadtree ou árvore binária), mas a divi- são não está limitada a esses exemplos. Por exemplo, um bloco pode ser dividido em três blocos (divisão de bloco ternário). A divisão, inclu- indo tal divisão de bloco ternário, também é referida como divisão de árvore de múltiplos tipos (MBT). Estrutura de Imagem: Fatia/"tile”

[0073] Uma imagem pode ser configurada em unidades de uma ou mais fatias ou “tiles”, a fim de decodificar a imagem em paralelo. A imagem configurada em unidades de uma ou mais fatias ou “tiles” po- de ser configurada pelo divisor 102.

[0074] As fatias são unidades de codificação básica incluídas em uma imagem. Uma imagem pode incluir, por exemplo, uma ou mais fatias. Adicionalmente, uma fatia inclui uma ou mais unidades de árvo- re de codificação sucessivas (CTU).

[0075] A figura 4A é um diagrama conceitual ilustrando um exem- plo de uma configuração de fatia. Por exemplo, uma imagem inclui 11 x 8 CTUs e é dividida em quatro fatias (fatias de 1 a 4). A fatia 1 inclui dezesseis CTUs, a fatia 2 inclui vinte e uma CTUs, a fatia 3 inclui vinte e nove CTUs, e a fatia 4 inclui vinte e duas CTUs. Aqui, cada CTU na imagem pertence a uma das fatias. O formato de cada fatia é um for- mato obtenível pela divisão da imagem horizontalmente. Um limite de cada fatia não precisa coincidir com uma extremidade da imagem, e pode coincidir com qualquer um dos limites entre CTUs na imagem. À ordem de processamento das CTUs em uma fatia (uma ordem de co- dificação, ou uma ordem de decodificação) é, por exemplo, uma ordem de digitalização “raster”. Uma fatia inclui informação de cabeçalho e dados codificados. As características da fatia podem ser descritas na informação de cabeçalho. As características incluem um endereço de CTU de uma CTU superior na fatia, um tipo de fatia, etc.

[0076] Um “tile” é uma unidade de uma região retangular incluída em uma imagem. Cada um dos “tiles” pode receber um número referi- do como Tileld na ordem de digitalização “raster”.

[0077] A figura 4B é um diagrama conceitual indicando um exem- plo de uma configuração de “tile”. Por exemplo, uma imagem inclui 11 x 8 CTUs e é dividida em quatro “tiles” de regiões retangulares (“tiles” de 1 a 4). Quando os “tiles” são utilizados, a ordem de processamento das CTUs é alterada da ordem de processamento, no caso no qual nenhum “tile” é utilizado. Quando nenhum “tile” é utilizado, as CTUS em uma imagem são processadas na ordem de digitalização “raster”. Quando “tiles” são utilizados, pelo menos uma CTU em cada um dos “tiles” é processada na ordem de digitalização “raster”. Por exemplo, como ilustrado na figura 4B, a ordem de processamento das CTUs, incluídas no “tile” 1, é a ordem que começa na extremidade esquerda da primeira fileira do “tile” 1 na direção da extremidade direita da pri- meira fileira do “tile” 1 e, então, começa na extremidade esquerda da segunda fileira do “tile” 1 na direção da extremidade direita da segunda fileira do “tile” 1.

[0078] Deve-se notar que um “tile” pode incluir uma ou mais fatias, e uma fatia pode incluir um ou mais “tiles”. Subtraidor

[0079] O subtraidor 104 subtrai um sinal de previsão (amostra de previsão que é registrada a partir do controlador de previsão 128 indi- cado abaixo), a partir de um sinal original (amostra original) em unida- des de um bloco registrado a partir do divisor 102 e dividido pelo divi- sor 102. Em outras palavras, o subtraidor 104 calcula os erros de pre- visão (também referidos como residuais) de um bloco a ser codificado (doravante também referido como um bloco atual). O subtraidor 104, então, envia os erros de previsão calculados (residuais) para o trans- formador 106.

[0080] O sinal original é um sinal que foi registrado no codificador 100 e representa uma imagem de cada imagem incluída em um vídeo (por exemplo, um sinal de luminescência e dois sinais de crominância). Doravante, um sinal que representa uma imagem também é referido como uma amostra. Transformador

[0081] O transformador 106 transforma erros de previsão em do- mínio espacial, em coeficientes de transformação em domínio de fre- quência, e envia os coeficientes de transformação para o quantizador

108. Mais especificamente, o transformador 106 aplica, por exemplo, uma transformação de cosseno discreto definida (DCT) ou transforma- ção de seno discreta (DST) aos erros de previsão no domínio espacial. A DCT ou DST definida pode ser predefinida.

[0082] Deve-se notar que o transformador 106 pode selecionar, de forma adaptativa, um tipo de transformação dentre uma pluralidade de tipos de transformação, e erros de previsão de transformação em coe- ficientes de transformação, pela utilização de uma função básica de transformação, que corresponde ao tipo de transformação seleciona- do. Esse tipo de transformação também é referido como transforma- ção de múltiplos núcleos explícita (EMT) ou múltiplas transformações adaptativas (AMT).

[0083] Os tipos de transformação incluem, por exemplo, DCT-II, DCT-V, DCT-VIII, DST-| e DST-VII. A figura 5A é um gráfico indicando as funções básicas de transformação para os tipos de transformação ilustrativos. Na figura 5A, N indica o número de pixels de entrada. Por exemplo, a seleção de um tipo de transformação dentre a pluralidade de tipos de transformação pode depender de um tipo de previsão (uma dentre a intraprevisão e a interprevisão) e pode depender de um modo de intraprevisão.

[0084] A informação que indica se aplica tal EMT ou AMT (referi- das como, por exemplo, um indicador EMT ou um indicador AMT) e a informação que indica o tipo de transformação selecionada, é normal- mente sinalizada no nível de CU. Deve-se notar que a sinalização de tal informação não precisa, necessariamente, ser realizada no nível de CU, e pode ser realizada em outro nível (por exemplo, no nível de transmissão de bits, nível de imagem, nível de fatia, nível de “tile” ou nível de CTU).

[0085] Adicionalmente, o transformador 106 pode transformar no- vamente os coeficientes de transformação (resultado da transforma-

ção). Tal nova transformação também é referida como transformação secundária adaptativa (AST), ou transformação secundária não sepa- rável (NSST). Por exemplo, o transformador 106 realiza a nova trans- formação em unidades de um sub-bloco (por exemplo, sub-bloco de 4 x 4) incluído em um bloco de coeficiente de transformação, que cor- responde a um erro de intraprevisão. A informação que indica se apli- ca NSST e a informação relacionada com uma matriz de transforma- ção para uso em NSST são normalmente sinalizadas no nível de CU. Deve-se notar que a sinalização de tal informação não precisa, neces- sariamente, ser realizada no nível de CU, e pode ser realizada em ou- tro nível (por exemplo, no nível de transmissão, nível de imagem, nível de fatia, nível de “tile”, ou nível de CTU).

[0086] O transformador 106 pode empregar uma transformação separável e uma transformação não separável. Uma transformação separável é um método no qual uma transformação é realizada várias vezes pela realização em separado de uma transformação para cada uma dentre várias direções, de acordo com o número de dimensões de entrada. Uma transformação não separável é um método de reali- zação de uma transformação coletiva, na qual duas ou mais dimen- sões nas entradas multidimensionais são coletivamente consideradas uma única dimensão.

[0087] Em um exemplo de uma transformação não separável, quando uma entrada é um bloco de 4 x 4, o bloco de 4 x 4 é conside- rado um conjunto singular incluindo dezesseis elementos, e a trans- formação se aplica a uma matriz de transformação de 16 x 16 ao con- junto.

[0088] Em outro exemplo de uma transformação não separável, um bloco de entrada de 4 x 4 é considerado um conjunto singular in- cluindo dezesseis elementos, e, então, uma transformação (transfor- mação givens de hipercubo), na qual a revolução givens é realizada no conjunto várias vezes, pode ser realizada.

[0089] Na transformação no transformador 106, os tipos de bases a serem transformadas em domínio de frequência, de acordo com as regiões em uma CU, podem ser comutados. Exemplos incluem trans- formações espacialmente variáveis (SVT). Em SVT, como ilustrado na figura 5B, as CUs são divididas em duas regiões iguais, horizontal- mente ou verticalmente, e apenas uma das regiões é transformada no domínio de frequência. Um tipo básico de transformação pode ser con- figurado para cada região. Por exemplo, DST7 e DST8 são utilizados. Nesse exemplo, apenas uma dessas duas regiões na CU é transfor- mada, e a outra não é transformada. No entanto, ambas as regiões podem ser transformadas. Adicionalmente, o método de divisão não está limitado à divisão em duas regiões iguais, e pode ser mais flexi- vel. Por exemplo, a CU pode ser dividida em quatro regiões iguais, ou a informação que indica a divisão pode ser codificada separadamente e pode ser sinalizada da mesma forma que a divisão de CU. Deve-se notar que SVT também é referida como transformação de sub-bloco (SBT). Quantizador

[0090] O quantizador 108 quantiza os coeficientes de transforma- ção enviados a partir do transformador 106. Mais especificamente, o quantizador 108 digitaliza, em uma ordem de digitalização determina- da, os coeficientes de transformação do bloco atual, e quantiza os coe- ficientes de transformação digitalizados, com base nos parâmetros de quantização (QP) correspondentes aos coeficientes de transformação. O quantizador 108, então, envia os coeficientes de transformação quantizados (doravante também referidos como coeficientes quantiza- dos) do bloco atual, para o codificador por entropia 110 e quantizador inverso 112. A ordem de digitalização determinada pode ser predeter- minada.

[0091] Uma ordem de digitalização determinada é uma ordem para quantizar/quantizar de forma inversa os coeficientes de transformação. Por exemplo, uma ordem de digitalização determinada pode ser defi- nida como ordem ascendente de frequência (frequência de baixa para alta) ou ordem descendente de frequência (frequência alta para baixa).

[0092] Um parâmetro de quantização (QP) é um parâmetro que define uma etapa de quantização (largura de quantização). Por exem- plo, quando o valor do parâmetro de quantização aumenta, a etapa de quantização também aumenta. Em outras palavras, quando o valor do parâmetro de quantização aumenta, o erro de quantização aumenta.

[0093] Adicionalmente, uma matriz de quantização pode ser utili- zada para fins de quantização. Por exemplo, vários tipos de matrizes de quantização podem ser utilizados de forma correspondente aos ta- manhos de transformação de frequência, tal como 4 x 4 e 8 x 8, modos de previsão, tal como intraprevisão e interprevisão, e componentes de pixel, tal como componentes de pixel de luminescência e crominância. Deve-se notar que quantização significa a digitalização dos valores amostrados em intervalos determinados de forma correspondente aos níveis determinados. Nesse campo técnico, a quantização pode ser referida utilizando-se outras expressões, tal como arredondamento e escalonamento, e pode empregar arredondamento ou escalonamento. Os intervalos e níveis determinados podem ser predeterminados.

[0094] Os métodos utilizando matrizes de quantização incluem um método utilizando uma matriz de quantização que foi configurada dire- tamente no lado do codificador, e um método utilizando uma matriz de quantização que foi configurado como um padrão (matriz padrão). No lado do codificador, uma matriz padrão adequada para as característi- cas de uma imagem pode ser configurada pela configuração direta de uma matriz de quantização. Esse caso, no entanto, possui uma des- vantagem de aumentar uma quantidade de codificação para codifica-

ção da matriz de quantização.

[0095] Existe um método de quantização de um coeficiente de alta frequência e um coeficiente de baixa frequência sem utilização de uma matriz de quantização. Deve-se notar que esse método equivale a um método utilizando uma matriz de quantização (matriz plana) cujos coe- ficientes possuem o mesmo valor.

[0096] A matriz de quantização pode ser especificada utilizando- se, por exemplo, um conjunto de parâmetros de sequência (SPS) ou um conjunto de parâmetros de imagem (PPS). O SPS inclui um parâ- metro que é utilizado para uma sequência, e o PPS inclui um parâme- tro que é utilizado para uma imagem. Cada um dentre o SPS e o PPS pode ser simplesmente referido como um conjunto de parâmetros. Codificador por Entropia

[0097] O codificador por entropia 110 gera um sinal codificado (sequência de bits codificados), com base nos coeficientes quantiza- dos que foram registrados a partir do quantizador 108. Mais especifi- camente, o codificador por entropia 110, por exemplo, binariza os coe- ficientes quantizados e codifica, aritmeticamente, o sinal binário, e en- via uma sequência de bits comprimidos ou sequência. Quantizador Inverso

[0098] O quantizador inverso 112 quantiza de forma inversa os coeficientes quantizados que foram registrados a partir do quantizador

108. Mais especificamente, o quantizador inverso 112 quantiza de forma inversa, em uma ordem de digitalização determinada, os coefi- cientes quantizados do bloco atual. O quantizador inverso 112, então, envia os coeficientes de transformação quantizados inversos do bloco atual para o transformador inverso 114. A ordem de digitalização de- terminada pode ser predeterminada. Transformador Inverso

[0099] O transformador inverso 114 restaura os erros de previsão

(residuais) pela transformação inversa dos coeficientes de transforma- ção, que foram registrados a partir do quantizador inverso 112. Mais especificamente, o transformador inverso 114 restaura os erros de previsão do bloco atual pela aplicação de uma transformação inversa correspondente à transformação aplicada pelo transformador 106, nos erros de previsão ao somador 116.

[00100] É notado que, visto que a informação é perdida na quanti- zação, os erros de previsão restaurados não combinam com os erros de previsão calculados pelo subtraidor 104. Em outras palavras, os erros de previsão restaurados incluem, normalmente, erros de quanti- zação. Somador

[00101] O somador 116 reconstrói o bloco atual pela adição dos er- ros de previsão, que foram registrados a partir do transformador inver- so 114, e amostras de previsão que foram registradas a partir do con- trolador de previsão 128. O somador 116, então, envia o bloco recons- truído para a memória de bloco 118 e filtro de circuito 120. Um bloco reconstruído também é referido como um bloco decodificado local. Memória de Bloco

[00102] A memória de bloco 118 é, por exemplo, um armazenador para armazenar os blocos em uma imagem a ser codificada (doravan- te referida como uma imagem atual), que é referida como intraprevi- são. Mais especificamente, a memória de bloco 118 armazena os blo- cos reconstruídos enviados a partir do soamador 116. Memória de Quadro

[00103] A memória de quadro 122 é, por exemplo, o armazenador para armazenar imagens de referência na interprevisão, e também é referida como um armazenador de quadro. Mais especificamente, a memória de quadro 122 armazena os blocos reconstruídos filtrados pelo filtro de circuito 120.

Filtro de Circuito

[00104] O ffiltrode circuito 120 aplica um filtro de circuito aos blocos reconstruídos pelo somador 116, e envia os blocos reconstruídos fil- trados para a memória de quadro 122. Um filtro de circuito é um filtro utilizado em um circuito de codificação (filtro de circuito de entrada), e inclui, por exemplo, um filtro de desbloqueio (DF ou DBF), um desvio adaptativo de amostra (SAO), e um filtro de circuito adaptativo (ALF).

[00105] Em um ALF, um filtro de erro de quadrado médio, para re- mover os artefatos de compressão, é aplicado. Por exemplo, um filtro selecionado dentre uma pluralidade de filtros, com base na direção e atividade de gradientes locais, é aplicado a cada um dos sub-blocos de 2 x 2 no bloco atual.

[00106] Mais especificamente, primeiro, cada sub-bloco (por exem- plo, cada sub-bloco de 2 x 2) é categorizado em uma dentre uma plu- ralidade de classes (por exemplo, quinze ou vinte e cinco classes). À classificação do sub-bloco é baseada em direcionalidade e atividade de gradiente. Por exemplo, o índice de classificação C (por exemplo, C = 5D + A) é derivado com base na direcionalidade de gradiente D (por exemplo, de O a 2 ou de O a 4) e atividade de gradiente A (por exem- plo, de O a 4). Então, com base no índice de classificação C, cada sub- bloco é categorizado em uma dentre uma pluralidade de classes.

[00107] Por exemplo, a direcionalidade de gradiente D é calculada pela comparação dos gradientes de uma pluralidade de direções (por exemplo, direções horizontal, vertical e duas direções diagonais). Ademais, por exemplo, a atividade de gradiente A é calculada pela adição de gradientes dentre uma pluralidade de direções e pela quan- tização do resultado da adição.

[00108] O filttoa ser utilizado para cada sub-bloco é determinado dentre a pluralidade de filtros, com base no resultado de tal categori- zação.

[00109] O formato de filtro a ser utilizado em um ALF é, por exem- plo, um formato de filtro simétrico circular. As figuras 6A a 6C ilustram exemplos de formatos de filtro utilizados em ALFs. A figura 6A ilustra um filtro em formato de diamante de 5 x 5, a figura 6B ilustra um filtro em formato de diamante de 7 x 7, e a figura 6C ilustra um filtro em formato de diamante de 9 x 9. A informação indicando o formato de filtro é normalmente sinalizada no nível da imagem. Deve-se notar que a sinalização de tal informação indicando o formato de filtro não preci- Sa, necessariamente, ser realizada no nível de imagem, e pode ser realizada em outro nível (por exemplo, no nível de sequência, nível de fatia, nível de “tile”, nível de CTU ou nível de CU).

[00110] OLIGAR ou DESLIGAR do ALF é determinado, por exem- plo, no nível de imagem ou no nível de CU. Por exemplo, a decisão de se aplica ALF à luminescência pode ser tomada no nível de CU, e a decisão de se aplica ALF à crominância, pode ser tomada no nível de imagem. A informação indicando o LIGAR ou DESLIGAR de ALF é normalmente sinalizada no nível de imagem ou nível de CU. Deve-se notar que a sinalização da informação indicando o LIGAR ou DESLI- GAR de ALF não precisa, necessariamente, ser realizada no nível de imagem ou nível de CU, e pode ser realizada em outro nível (por exemplo, no nível de sequência, nível de fatia, nível de “tile”, ou nível de CTU).

[00111] O conjunto de coeficientes para a pluralidade de filtros se- lecionáveis (por exemplo, de quinze até vinte e cinco filtros) é normal- mente sinalizado no nível de imagem. Deve-se notar que a sinalização do conjunto de coeficientes não precisa, necessariamente, ser realiza- da no nível de imagem, e pode ser realizada em outro nível (por exemplo, no nível de sequência, nível de fatia, nível de “tile”, nível de CTU, nível de CU ou nível de sub-bloco). Filtro de Circuito > Filtro de Desbloqueio

[00112] Em um filtro de desbloqueio, o filtro de circuito 120 realiza um processo de filtro em um limite de bloco em uma imagem recons- truída, de modo a reduzir a distorção que ocorre no limite do bloco.

[00113] A figura7 é um diagrama em bloco ilustrando um exemplo de uma configuração específica do filtro de circuito 120, que funciona como um filtro de desbloqueio.

[00114] O filtro de circuito 120 inclui: um determinador de limite 1201; um determinador de filtro 1203; um executor de filtragem 1206; um determinador de processo 1208; um determinador de característica de filtro 1207, e comutadores 1202, 1204 e 1206.

[00115] O determinador de limite 1201 determina se um pixel a ser filtrado por desbloqueio (isso é, um pixel atual) está presente em torno de um limite de bloco. O determinador de limite 1201, então, envia o resultado da determinação para o comutador 1202 e o determinador de processamento 1208.

[00116] No caso no qual o determinador de limite 1201 determina que um pixel atual está presente em torno de um comutador de limite de bloco, o comutador 1202 envia uma imagem não filtrada para o comutador 1204. No caso oposto, no qual o determinador de limite 1201 determina que nenhum pixel atual está presente em torno de um limite de bloco, o comutador 1202 envia uma imagem não filtrada para o comutador 1206.

[00117] O determinador de filtro 1203 determina se realiza a filtra- gem de desbloqueio do pixel atual, com base no valor de pixel do pelo menos um pixel circundante localizado em torno do pixel atual. O de- terminador de filtro 1203, então, envia o resultado da determinação para o comutador 1204 e para o determinador de processamento

1208.

[00118] No caso no qual o determinador de filtro 1203 determina a realização da filtragem de desbloqueio do pixel atual, o comutador

1204 envia a imagem não filtrada obtida através do comutador 1202 para o executor de filtragem 1205. No caso oposto, no qual o determi- nador de filtro 1203 determina a não realização da filtragem de des- bloqueio do pixel atual, o comutador 1204 envia a imagem não filtrada obtida através do comutador 1202 para o comutador 1206.

[00119] “Quando da obtenção da imagem não filtrada através dos comutadores 1202 e 1204, o executor de filtragem 1205 executa, para o pixel atual, a filtragem de desbloqueio com a característica de filtro determinada pelo determinador de característica de filtro 1207. O exe- cutor de filtragem 1205, então, envia o pixel filtrado para o comutador

1206.

[00120] Sob o controle realizado pelo determinador de processa- mento 1208, o comutador 1206 envia, seletivamente, um pixel que não foi filtrado por desbloqueio e um pixel que foi filtrado por desbloqueio pelo executor de filtragem 1205.

[00121] O determinador de processamento 1208 controla o comu- tador 1206 com base nos resultados das determinações realizadas pelo determinador de limite 1201 e pelo determinador de filtro 1203. Em outras palavras, o determinador de processamento 1208 faz com que o comutador 1206 envie o pixel que foi filtrado por desbloqueio, quando o determinador de limite 1201 determinar que o pixel atual es- tá presente em torno do limite de bloco e o determinador de filtro 1203 tiver determinado a realização da filtragem de desbloqueio do pixel atual. Adicionalmente, além do caso acima, o determinador de proces- samento 1208 faz com que o comutador 1206 envie o pixel que não foi filtrado por desbloqueio. Uma imagem filtrada é enviada a partir do comutador 1206 pela repetição do envio de um pixel dessa forma.

[00122] A figura8 é um diagrama conceitual indicando um exemplo de um filtro de desbloqueio possuindo uma característica de filtragem simétrica com relação a um limite de bloco.

[00123] Em um processo de filtro de desbloqueio, um dos dois fil- tros de desbloqueio possuindo características diferentes, isso é, um filtro forte e um filtro fraco, é selecionado utilizando-se os valores de pixel e parâmetros de quantização. No caso de filtro forte, pixels po a p2 e pixels q0 a q2 estão presentes através de um limite de bloco co- mo ilustrado na figura 8, os valores de pixel do pixel respectivo q0 a q2 são substituídos por valores de pixel q/0 a q'2 pela realização, por exemplo, de computações de acordo com as expressões abaixo.

'q'0 = (p1 + 2xp0+2xqg0+2xg91+q92+4)/8 q'1 = (pO + q0 + q1 + q2 + 2)/4 q'2 = (pO + q0 +q1q + 3xqg2+2x03+4)/8

[00124] Deve-se notar que, nas expressões acima, p0 a pr egola q2 são valores de pixel dos pixels respectivos pO a p2 e dos pixels qo a 92. Adicionalmente, q3 é o valor de pixel do pixel vizinho 93 localiza- do no lado oposto do pixel 92, com relação ao limite de bloco. Adicio- nalmente, no lado direito de cada uma das expressões, os coeficientes que são multiplicados pelos valores de pixel respectivos, dos pixels a serem utilizados para a filtragem de desbloqueio, são coeficientes de filtro.

[00125] Adicionalmente, na filtragem de desbloqueio, uma redução pode ser realizada de modo que os valores de pixel calculados não sejam configurados acima de um valor limite. No processo de redução, os valores de pixel calculados de acordo com as expressões acima são reduzidos para um valor obtido de acordo com um "valor de pixel de computação +/- 2 x um valor limite" utilizando o valor limite determi- nado com base em um parâmetro de quantização.

[00126] A figura9 é um diagrama conceitual para ilustrar um limite de bloco, no qual um processo de filtro de desbloqueio é realizado. À figura 10 é um diagrama conceitual indicando exemplos de valores Bs.

[00127] O limite de bloco no qual o processo de filtro de desblo-

queio é realizado, por exemplo, é um limite entre as unidades de pre- visão (PU) possuindo blocos de 8 x 8 pixels, como ilustrado na figura 9, ou um limite entre as unidades de transformação (TU). O processo de filtro de desbloqueio pode ser realizado em unidades de quatro filei- ras ou quatro colunas. Primeiro, os valores de resistência de limite (Bs) são determinados como indicado na figura 10 para o bloco P e o bloco Q ilustrados na figura 9.

[00128] De acordo com os valores Bs na figura 10, é determinado se é necessário realizar os processos de filtro de desbloqueio dos limi- tes de bloco pertencentes à mesma imagem, utilizando resistências diferentes. O processo de filtro de desbloqueio para um sinal de cro- minância é realizado quando um valor Bs é igual a 2. O processo de filtro de desbloqueio para um sinal de luminescência é realizado quan- do um valor Bs é igual a 1 ou maior e uma condição determinada é satisfeita. A condição determinada pode ser predeterminada. Deve-se notar que as condições de determinação dos valores Bs não estão |i- mitadas às indicadas na figura 10, e um valor de Bs pode ser determi- nado com base em outro parâmetro. Processador de Previsão (Intraprevisor, Interprevisor, Controlador de Previsão)

[00129] A figura 11 é um fluxograma ilustrando um exemplo de um processo realizado pelo processador de previsão do codificador 100. Deve-se notar que o processador de previsão inclui todos ou parte dos elementos constituintes a seguir: intraprevisor 124; interprevisor 126; e controlador de previsão 128.

[00130] O processador de previsão gera uma imagem de previsão de um bloco atual (Etapa Sb 1). Essa imagem de previsão também é referida como um sinal de previsão ou um bloco de previsão. Deve-se notar que o sinal de previsão, por exemplo, é um sinal de intraprevisão ou um sinal de interprevisão. Especificamente, o processador de pre-

visão gera a imagem de previsão do bloco atual utilizando uma ima- gem reconstruída que já foi obtida através da geração de um bloco de previsão, geração de um bloco de diferença, geração de um bloco de coeficientes, restauração de um bloco de diferença, e geração de um bloco de imagem decodificada.

[00131] A imagem reconstruída pode ser, por exemplo, uma ima- gem em uma imagem de referência, ou uma imagem de um bloco co- dificado em uma imagem atual, que é a imagem que inclui o bloco atu- al. O bloco codificado na imagem atual é, por exemplo, um bloco vizi- nho do bloco atual.

[00132] A figura 12 é um fluxograma ilustrando outro exemplo de um processo realizado pelo processador de previsão do codificador

100.

[00133] O processador de previsão gera uma imagem de previsão utilizando um primeiro método (Etapa Sc 1a), gera uma imagem de previsão utilizando um segundo método (Etapa Sc 1b), e gera uma imagem de previsão utilizando um terceiro método (Etapa Sc 1c). O primeiro método, o segundo método e o terceiro método podem ser métodos mutuamente diferentes para gerar uma imagem de previsão. Cada um do primeiro ao terceiro métodos pode ser um método de in- terprevisão, um método de intraprevisão ou outro método de previsão. A imagem reconstruída descrita acima pode ser utilizada nesses mé- todos de previsão.

[00134] A seguir, o processador de previsão seleciona qualquer um dentre uma pluralidade de métodos de previsão gerados nas Etapas Sc 1a, Sc 1be Sc 1c (Etapa Sc 2). A seleção da imagem de previ- são, isso é, a seleção de um método ou de um modo para obtenção de uma imagem de previsão final pode ser realizada pelo cálculo de um custo para cada uma das imagens de previsão, geradas e com base no custo. Alternativamente, a seleção da imagem de previsão pode ser realizada com base em um parâmetro que é utilizado em um processo de codificação. O codificador 100 pode transformar a informação para a identificação de uma imagem de previsão selecionada, um método ou um modo em um sinal codificado (também referido como uma se- quência de bits codificados). A informação pode ser, por exemplo, um indicador ou similar. Dessa forma, o decodificador pode gerar uma imagem de previsão de acordo com o método ou o modo selecionado com base na informação no codificador 100. Deve-se notar que, no exemplo ilustrado na figura 12, o processador de previsão seleciona qualquer uma das imagens de previsão, depois que as imagens de previsão são geradas utilizando-se os métodos respectivos. No entan- to, o processador de previsão pode selecionar um método ou um mo- do com base em um parâmetro para uso no processo de codificação descrito acima, antes da geração das imagens de previsão, e pode gerar uma imagem de previsão de acordo com o método ou modo se- lecionado.

[00135] Por exemplo, o primeiro método e o segundo método po- dem ser a intraprevisão e a interprevisão, respectivamente, e o pro- cessador de previsão pode selecionar uma imagem de previsão final para um bloco atual a partir das imagens de previsão, geradas de acordo com os métodos de previsão.

[00136] A figura 13 é um fluxograma ilustrando outro exemplo de um processo realizado pelo processador de previsão do codificador

100.

[00137] Primeiro, o processador de previsão gera uma imagem de previsão utilizando a intraprevisão (Etapa Sd 1a), e gera uma imagem de previsão utilizando a interprevisão (Etapa Sd 1b). Deve-se notar que a imagem de previsão gerada pela intraprevisão também é referi- da como uma imagem de intraprevisão, e a imagem de previsão gera- da pela interprevisão também é referida como uma imagem de inter-

previsão.

[00138] A seguir, o processador de previsão avalia cada uma dentre a imagem de intraprevisão e a imagem de interprevisão (Etapa Sd 2). Um custo pode ser utilizado na avaliação. Em outras palavras, o pro- cessador de previsão calcula o custo C para cada uma dentre as ima- gens de intraprevisão e interprevisão. O custo C pode ser calculado de acordo com uma expressão de um modelo de otimização R-D, por exemplo, C = D + A X R. Nessa expressão, D indica uma distorção de codificação de uma imagem de previsão, e é representado, por exem- plo, como uma soma de diferenças absolutas entre o valor de pixel de um bloco atual e o valor de pixel de uma imagem de previsão. Adicio- nalmente, R indica uma quantidade de codificação prevista de uma imagem de previsão, especificamente, a quantidade de codificação necessária para se codificar a informação de movimento para gerar uma imagem de previsão, etc. Adicionalmente, À indica, por exemplo, um multiplicador de acordo com o método de multiplicador Lagrange.

[00139] O processador de previsão, então, seleciona a imagem de previsão para a qual o menor custo C foi calculado dentre a imagem de intraprevisão e a imagem de interprevisão, como a imagem de pre- visão final para o bloco atual (Etapa Sd 3). Em outras palavras, o mé- todo de previsão ou modo para gerar a imagem de previsão para o bloco atual é selecionado. Intraprevisor

[00140] O intraprevisor 124 gera um sinal de previsão (sinal de in- traprevisão) pela realização da intraprevisão (também referida como previsão de intraquadro) do bloco atual, por referência a um bloco ou blocos na imagem atual e armazenado na memória de bloco 118. Mais especificamente, o intraprevisor 124 gera um sinal de intraprevisão pela realização da intraprevisão, por referência às amostras (por exemplo, valores de luminescência e/ou crominância) de um bloco ou blocos vizinhos ao bloco atual, e, então, envia o sinal de intraprevisão para o controlador de previsão 128.

[00141] Por exemplo, o intraprevisor 124 realiza a intraprevisão pela utilização de um modo dentre uma pluralidade de modos de intraprevi- são que foram definidos. Os modos de intraprevisão incluem um ou mais modos de previsão não direcional e uma pluralidade de modos de previsão direcional. Os modos definidos podem ser predefinidos.

[00142] Os um ou mais modos de previsão não direcional incluem, por exemplo, o modo de previsão plana e o modo de previsão DC de- finidos no padrão H.265/padrão de codificação de vídeo de alta efici- ência (HEVC).

[00143] A pluralidade de modos de previsão direcional inclui, por exemplo, os trinta e três modos de previsão direcional definidos no pa- drão H.265/HEVC. Deve-se notar que a pluralidade de modos de pre- visão direcional pode incluir adicionalmente trinta e dois modos de previsão direcional em adição aos trinta e três modos de previsão dire- cional (para um total de sessenta e cinco modos de previsão direcio- nal). A figura 14 é um diagrama conceitual ilustrando sessenta e sete modos de intraprevisão no total, que podem ser utilizados na intrapre- visão (dois modos de previsão não direcional e sessenta e cinco mo- dos de previsão direcional). As setas sólidas representam trinta e três direções definidas no padrão H.265/HEVC, e as setas tracejadas re- presentam as trinta e duas direções adicionais (os dois modos de pre- visão não direcional não são ilustrados na figura 14).

[00144] Em vários tipos de exemplos de processamento, um bloco de luminescência pode ser referido na intraprevisão de um bloco de crominância. Em outras palavras, um componente de crominância do bloco atual pode ser previsto com base em um componente de lumi- nescência do bloco atual. Tal intraprevisão também é referida como previsão de modelo linear de componente cruzado (CCLM). O modo de intraprevisão para um bloco de crominância, no qual tal bloco de luminescência é referido (também referido como, por exemplo, um modo CCLM), pode ser adicionado como um dos modos de intraprevi- são aos blocos de crominância.

[00145] O intraprevisor 124 pode corrigir os valores de pixel intra- previstos com base em gradientes de pixel de referência horizon- tal/vertical. A intraprevisão acompanhada por esse tipo de correção também é referida como a combinação de intraprevisão dependente de posição (PDPC). A informação que indica se aplica PDPC (referido como, por exemplo, um indicador PDPC) é normalmente sinalizada no nível de CU. Deve-se notar que a sinalização de tal informação não precisa, necessariamente, ser realizada no nível de CU, e pode ser realizada em outro nível (por exemplo, no nível de sequência, nível de imagem, nível de fatia, nível de “tile”, ou nível de CTU). Interprevisor

[00146] O interprevisor 126 gera um sinal de previsão (sinal de in- terprevisão) pela realização da interprevisão (também referida como uma previsão interquadro) do bloco atual por referência a um bloco ou blocos em uma imagem de referência, que é diferente da imagem atu- al e é armazenada na memória de quadro 122. A interprevisão é reali- zada em unidades de um bloco atual ou um sub-bloco atual (por exemplo, um bloco de 4 x 4) no bloco atual. Por exemplo, o interprevi- sor 126 realiza a estimativa de movimento em uma imagem de refe- rência para o bloco atual ou o sub-bloco atual, e descobre um bloco de referência ou um sub-bloco que melhor combine com o bloco atual ou sub-bloco atual. O interprevisor 126, então, obtém a informação de movi- mento (por exemplo, um vetor de movimento), que compensa um mo- vimento ou uma mudança do bloco de referência ou sub-bloco para o bloco atual ou sub-bloco. O interprevisor 126 gera um sinal de inter- previsão do bloco atual ou sub-bloco pela realização da compensação de movimento (ou previsão de movimento), com base na informação de movimento. O interprevisor 126 envia o sinal de interprevisão gera- do para o controlador de previsão 128.

[00147] A informação de movimento utilizada na compensação de movimento pode ser sinalizada como sinais de interprevisão de várias formas. Por exemplo, um vetor de movimento pode ser sinalizado. Como outro exemplo, a diferença entre um vetor de movimento e um previsor de vetor de movimento pode ser sinalizada. Fluxo Básico da Interprevisão

[00148] A figura 15 é um fluxograma ilustrando um fluxo de proces- samento básico ilustrativo da interprevisão.

[00149] Primeiro, o interprevisor 126 gera um sinal de previsão (Etapas Se 1 a Se 3). A seguir, o subtraidor 104 gera a diferença en- tre um bloco atual e uma imagem de previsão como um residual de previsão (Etapa Se 4).

[00150] Aqui, na geração da imagem de previsão, o interprevisor 126 gera a imagem de previsão através da determinação de um vetor de movimento (MV) do bloco atual (Etapas Se 1 e Se 2) e a compen- sação de movimento (Etapa Se 3). Adicionalmente, na determinação de um MV, o interprevisor 126 determina o MV através da seleção de um candidato a vetor de movimento (candidato a MV) (Etapa Se 1) e a derivação de um MV (Etapa Se 2). A seleção do candidato a MV é realizada, por exemplo, pela seleção de pelo menos um candidato a MV a partir de uma lista de candidatos a MV. Alternativamente, na de- rivação de um MV, o interprevisor 126 pode selecionar adicionalmente pelo menos um candidato a MV a partir de pelo menos um candidato a MV, e determinar o pelo menos um candidato a MV selecionado como o MV para o bloco atual. Alternativamente, o interprevisor 126 pode determinar o MV para o bloco atual pela realização da estimativa em uma região de imagem de referência especificada por cada um do pelo menos um candidato a MV selecionado. Deve-se notar que a estimati- va em uma região de imagem de referência pode ser referida como estimativa de movimento.

[00151] Adicionalmente, apesar de as Etapas Se 1 a Se 3 serem realizadas pelo interprevisor 126 no exemplo descrito acima, um pro- cesso que é, por exemplo, Etapa Se 1, Etapa Se 2, ou similares, po- de ser realizado por outro elemento constituinte incluído no codificador

100. Fluxo de Derivação de Vetor de Movimento

[00152] A figura 16 é um fluxograma ilustrando um exemplo de de- rivação de vetores de movimento.

[00153] O interprevisor 126 deriva um MV de um bloco atual em um modo para codificar a informação de movimento (por exemplo, um MV). Nesse caso, por exemplo, a informação de movimento é codifi- cada como um parâmetro de previsão e é sinalizada. Em outras pala- vras, a informação de movimento codificada é incluída em um sinal codificado (também referido como sequência de bits codificados).

[00154] —Alternativamente, o interprevisor 126 deriva um MV em um modo no qual a informação de movimento não é codificada. Nesse ca- so, nenhuma informação de movimento é incluída em um sinal codifi- cado.

[00155] Aqui, os modos de derivação de MV podem incluir um in- termodo normal, um modo de mistura, um modo FRUC, um modo afim, etc. que são descritos posteriormente. Os modos nos quais a in- formação de movimento é codificada entre os modos, incluem o inter- modo normal, o modo de mistura, o modo afim (especificamente, um intermodo afim e um modo de mistura afim), etc. Deve-se notar que a informação de movimento pode incluir não apenas um MV, mas tam- bém a informação de seleção de previsor de vetor de movimento que é descrita posteriormente. Os modos nos quais nenhuma informação de movimento é codificada incluem o modo FRUC, etc. O interprevisor 126 seleciona um modo para derivar um MV do bloco atual a partir dos modos, e derivar o MV do bloco atual utilizando o modo selecionado.

[00156] A figura 17 é um fluxograma ilustrando outro exemplo de derivação dos vetores de movimento.

[00157] Ointerprevisor 126 deriva um MV de um bloco atual em um modo no qual: uma diferença de MV é codificada. Nesse caso, por exemplo, a diferença de MV é codificada como um parâmetro de pre- visão, e é sinalizada. Em outras palavras, a diferença de MV codifica- da é incluída em um sinal codificado. A diferença de MV é a diferença entre o MV do bloco atual e o previsor de MV.

[00158] —Alternativamente, o interprevisor 126 deriva um MV, em um modo no qual nenhuma diferença de MV é codificada. Nesse caso, nenhuma diferença de MV é incluída em um sinal codificado.

[00159] — Aqui, como descrito acima, os modos de derivação de MV incluem o intermodo normal, o modo de mistura, o modo FRUC, o mo- do afim, etc., que serão descritos posteriormente. Os modos nos quais uma diferença de MV é codificada dentre os modos, incluem o inter- modo normal, o modo afim (especificamente, o intermodo afim), etc. Os modos nos quais nenhuma diferença de MV é codificada incluem o modo FRUC, o modo de mistura, o modo afim (especificamente o mo- do de mistura afim), etc. O interprevisor 126 seleciona um modo para derivar um MV do bloco atual a partir da pluralidade de modos, e deri- va o MV do bloco atual utilizando o modo selecionado. Fluxo de Derivação de Vetor de Movimento

[00160] A figura 18 é um fluxograma ilustrando outro exemplo de derivação de vetores de movimento. Os modos de derivação de MV, que são modos de interprevisão, incluem uma pluralidade de modos e são divididos aproximadamente em modos nos quais uma diferença de MV é codificada, e os modos nos quais nenhuma diferença no vetor de movimento é codificada. Os modos nos quais nenhuma diferença de MV é codificada incluem o modo de mistura, o modo FRUC, o modo afim (especificamente, o modo de mistura afim), etc. Esses modos são descritos em maiores detalhes. Simplesmente, o modo de mistura é um modo para derivar um MV de um bloco atual pela seleção de um vetor de movimento, a partir de um bloco circundante codificado, e o modo FRUC é um modo para derivar um MV de um bloco atual pela realização da estimativa entre as regiões codificadas. O modo afim é um modo para derivar, como um MV de um bloco atual, um vetor de movimento de cada um dentre uma pluralidade de sub-blocos incluí- dos no bloco atual, assumindo-se a transformação afim.

[00161] Mais especificamente, como ilustrado quando a informação do modo de interprevisão indica O (0 em Sf 1), o interprevisor 126 de- riva um vetor de movimento, utilizando o modo de mistura (Sf 2). Quando a informação do modo de interprevisão indica 1 (1 em Sf 1), o interprevisor 126 deriva um vetor de movimento utilizando o modo FRUC (Sf 3). Quando a informação do modo de interprevisão indica 2 (2 em Sf 1), o interprevisor 126 deriva um vetor de movimento utili- zando o modo afim (especificamente, o modo de mistura afim) (Sf 4). Quando a informação de modo de interprevisão indica 3 (3 em Sf 1), o interprevisor 126 deriva um vetor de movimento, utilizando um modo no qual uma diferença de MV é codificada (por exemplo, um intermodo normal (Sf 5)). Derivação de MV > Intermodo Normal

[00162] O intermodo normal é um modo de interprevisão para deri- var um MV de um bloco atual, com base em um bloco similar à ima- gem do bloco atual, a partir de uma região de imagem de referência especificada por um candidato a MV. Nesse intermodo normal, uma diferença de MV é codificada.

[00163] A figura 19 é um fluxograma ilustrando um exemplo de in-

terprevisão no intermodo normal.

[00164] Primeiro, o interprevisor 126 obtém uma pluralidade de candidatos a MV para um bloco atual com base na informação, tal co- mo MVs de uma pluralidade de blocos codificados temporalmente ou espacialmente cercando o bloco atual (Etapa Sg 1). Em outras pala- vras, o interprevisor 126 gera uma lista de candidatos a MV.

[00165] A seguir, o interprevisor 126 extrai N (um inteiro igual a ou superior a 2) candidatos a MV, a partir da pluralidade de candidatos a MV obtidos na Etapa Sg 1, como os candidatos a previsor de vetor de movimento (também referidos como candidatos a previsor de MV), de acordo com uma ordem de prioridade determinada (Etapa Sg 2). De- ve-se notar que a ordem de prioridade pode ser determinada anteci- padamente para cada um dos N candidatos a MV.

[00166] A seguir, o interprevisor 126 seleciona um candidato a pre- visor de vetor de movimento, a partir dos N candidatos a previsor de vetor de movimento, como o previsor de vetor de movimento (também referido como um previsor de MV) do bloco atual (Etapa Sg 3). Nesse momento, o interprevisor 126 codifica, em uma sequência, a informa- ção de seleção de previsor de vetor de movimento para identificar o previsor de vetor de movimento selecionado. Deve-se notar que a se- quência é um sinal codificado ou uma sequência de bits codificados, como descrito acima.

[00167] A seguir, o interprevisor 126 deriva um MV de um bloco atual por referência a uma imagem de referência codificada (Etapa Sg 4). Nesse momento, o interprevisor 126 codifica adicionalmente, na sequência, o valor de diferença entre o MV derivado e o previsor de vetor de movimento como uma diferença de MV. Deve-se notar que a imagem de referência codificada é uma imagem que inclui uma plurali- dade de blocos que foram reconstruídos depois de terem sido codifi- cados.

[00168] Por fim, o interprevisor 126 gera uma imagem de previsão para o bloco atual pela realização da compensação de movimento do bloco atual, utilizando o MV derivado e a imagem de referência codifi- cada (Etapa Sg 5). Deve-se notar que a imagem de previsão é um sinal de interprevisão como descrito acima.

[00169] Adicionalmente, a informação que indica o modo de inter- previsão (intermodo normal no exemplo acima), utilizado para gerar a imagem de previsão é, por exemplo, codificada como um parâmetro de previsão.

[00170] Deve-se notar que a lista de candidatos a MV também pode ser utilizada como uma lista para uso em outro modo. Adicionalmente, OS processos relacionados à lista de candidatos a MV podem ser apli- cados aos processos relacionados à lista para uso em outro modo. Os processos relacionados com a lista de candidatos a MV incluem, por exemplo, extração ou seleção de um candidato a MV a partir da lista de candidatos a MV, reordenação dos candidatos a MV ou eliminação de um candidato a MV. Derivação de MV > Modo de Mistura

[00171] O modo de mistura é um modo de interprevisão para sele- cionar um candidato a MV a partir de uma lista de candidatos a MV, como um MV de um bloco atual, derivando, assim, o MV.

[00172] A figura 20 é um fluxograma ilustrando um exemplo de in- terprevisão no modo de mistura.

[00173] Primeiro, o interprevisor 126 obtém uma pluralidade de candidatos a MV para um bloco atual com base na informação, tal co- mo MVs de uma pluralidade de blocos codificados, que cercam tempo- ralmente ou espacialmente o bloco atual (Etapa Sh 1). Em outras pa- lavras, o interprevisor 126 gera uma lista de candidatos a MV.

[00174] A seguir, o interprevisor 126 seleciona um candidato a MV a partir da pluralidade de candidatos a MV obtidos na Etapa Sh 1, de-

rivando, assim, um MV do bloco atual (Etapa Sh 2). Nesse momento, o interprevisor 126 codifica, em uma sequência, a informação de sele- ção de MV para identificar o candidato a MV selecionado.

[00175] Por fim, o interprevisor 126 gera uma imagem de previsão para o bloco atual pela realização da compensação de movimento do bloco atual utilizando o MV derivado e a imagem de referência codifi- cada (Etapa Sh 3).

[00176] Adicionalmente, a informação que indica o modo de inter- previsão (modo de mistura no exemplo acima) utilizado para gerar a imagem de previsão e incluída no sinal codificado, por exemplo, é co- dificada como um parâmetro de previsão.

[00177] A figura 21 é um diagrama conceitual para ilustrar um exemplo de um processo de derivação de vetor de movimento de uma imagem atual no modo de mistura.

[00178] Primeiro, uma lista de candidatos a MV, na qual os candida- tos a previsor de MV são registrados, é gerada. Exemplos de candida- tos a previsor de MV incluem: previsores de MV espacialmente vizi- nhos, que são os MVs de uma pluralidade de blocos codificados locali- zados espacialmente em torno de um bloco atual; previsores de MV temporalmente vizinhos, que são MVs dos blocos circundantes no quais a posição de um bloco atual em uma imagem de referência codi- ficada é projetada; previsores de MV combinados que são MVs gera- dos pela combinação do valor de MV de um previsor de MV espacial- mente vizinho e do MV de um previsor de MV temporalmente vizinho; e um previsor de MV zero que é um MV possuindo um valor igual a zero.

[00179] A seguir, um previsor de MV é selecionado a partir de uma pluralidade de previsores de MV registrados em uma lista de previsor de MV, e o previsor de MV selecionado é determinado como o MV de um bloco atual.

[00180] Adicionalmente, o codificador de comprimento variável des- creve e codifica, em uma sequência, merge idx, que é um sinal que indica qual previsor de MV foi selecionado.

[00181] Deve-se notar que os previsores de MV registrados na lista de previsores de MV descrita na figura 21 são exemplos. O número de previsores de MV pode ser diferente do número de previsores de MV no diagrama, a lista de previsores de MV pode ser configurada de tal forma que alguns dos tipos de previsores de MV no diagrama possam não estar incluídos, ou que um ou mais dos previsores de MV, além dos tipos de previsores de MV no diagrama, sejam incluídos.

[00182] Um MV final pode ser determinado pela realização de um processo de refinamento de vetor de movimento de decodificador (DMVR), a ser descrito posteriormente utilizando-se o MV do bloco atual derivado no modo de mistura.

[00183] Deve ser notado que os candidatos a previsor de MV são candidatos a MV descritos acima, e a lista de previsores de MV é a lista de candidatos a MV descrita acima. Deve-se notar que a lista de candidatos a MV pode ser referida como uma lista de candidatos. Adi- cionalmente, merge idx é a informação de seleção de MV. Derivação de MV > Modelo FRUC

[00184] A informação de movimento pode ser derivada no lado do decodificador, sem ser sinalizada a partir do lado do codificador. Deve- se notar que, como descrito acima, o modo de mistura definido no pa- drão H.265/HEVC pode ser utilizado. Adicionalmente, por exemplo, a informação de movimento pode ser derivada pela realização da esti- mativa de movimento no lado do decodificador. Em uma modalidade, no lado do decodificador, a estimativa de movimento é realizada sem a utilização de qualquer valor de pixel em um bloco atual.

[00185] — Aqui, um modo de realização da estimativa de movimento no lado do decodificador é descrito. O modo para se realizar a estima-

tiva de movimento no lado do decodificador pode ser referido como um modo de derivação de vetor de movimento de padrão combinado (PLMMVD), ou um modo de conversão ascendente de taxa de quadro (FRUC).

[00186] Um exemplo de um processo FRUC na forma de um fluxo- grama é ilustrado na figura 22. Primeiro, uma lista de uma pluralidade de candidatos, cada um possuindo um previsor de vetor de movimento (MV) (isso é, uma lista de candidatos a MV que também pode ser utili- zada como uma lista de mistura), é gerada por referência a um vetor de movimento em um bloco codificado que é espacialmente ou tempo- ralmente vizinho de um bloco atual (Etapa Si 1). A seguir, um melhor candidato a MV é selecionado dentre a pluralidade de candidatos a MV registrados na lista de candidatos a MV (Etapa Si 2). Por exemplo, os valores de avaliação dos respectivos candidatos a MV incluídos na lista de candidatos a MV são calculados, e um candidato a MV é sele- cionado com base nos valores de avaliação. Com base nos candidatos a vetor de movimento selecionados, um vetor de movimento para o bloco atual é, então, derivado (Etapa Si 4). Mais especificamente, por exemplo, o candidato a vetor de movimento selecionado (melhor can- didato a MV) é derivado diretamente como o vetor de movimento para o bloco atual. Adicionalmente, por exemplo, o vetor de movimento para o bloco atual pode ser derivado utilizando-se a combinação de padrão em uma região circundante de uma posição em uma imagem de refe- rência, na qual a posição na imagem de referência corresponde ao candidato a vetor de movimento selecionado. Em outras palavras, a estimativa utilizando a combinação de padrão e os valores de avalia- ção pode ser realizada na região circundante do melhor candidato a MV, e quando houver um MV que resulte em um valor de avaliação melhor, o melhor candidato a MV pode ser atualizado para o MV, que resulta no melhor valor de avaliação, e o MV atualizado pode ser de-

terminado como o MV final para o bloco atual. Uma configuração, na qual nenhum desses processos de atualização do melhor candidato a MV para o MV, que possui um melhor valor de avaliação, é realizado, também é possível.

[00187] Por fim, o interprevisor 126 gera uma imagem de previsão para o bloco atual pela realização da compensação de movimento do bloco atual utilizando o MV derivado e a imagem de referência codifi- cada (Etapa Si 5).

[00188] Um processo similar pode ser realizado em unidades de um sub-bloco.

[00189] Os valores de avaliação podem ser calculados de acordo com vários tipos de métodos. Por exemplo, uma comparação é feita entre uma imagem reconstruída em uma região em uma imagem de referência correspondente a um vetor de movimento, e uma imagem reconstruída em uma região determinada (a região pode ser, por exemplo, uma região em outra imagem de referência ou uma região em um bloco vizinho de uma imagem atual, como indicado abaixo). À região determinada pode ser predeterminada.

[00190] A diferença entre os valores de pixel das duas imagens re- construídas pode ser utilizada para um valor de avaliação dos vetores de movimento. Deve-se notar que um valor de avaliação pode ser cal- culado utilizando-se informação além do valor de diferença.

[00191] A seguir, um exemplo de combinação de padrão é descrito em detalhes. Primeiro, um candidato a MV incluído em uma lista de candidatos a MV (por exemplo, uma listra de mistura) e selecionado como um ponto de partida da estimativa pela combinação de padrão. Por exemplo, como a combinação de padrão, uma primeira combina- ção de padrão ou uma segunda combinação de padrão pode ser utili- zada. A primeira combinação de padrão e a segunda combinação de padrão também são referidas como uma combinação bilateral e com-

binação de gabarito, respectivamente. Derivação MV > FRUC > Combinação Bilateral

[00192] Na primeira combinação de padrão, a combinação de pa- drão é realizada entre dois blocos ao longo de uma trajetória de movi- mento de um bloco atual, que são dois blocos em duas imagens de referência diferentes. De acordo, na primeira combinação de padrão, uma região em outra imagem de referência ao longo da trajetória de movimento do bloco atual é utilizada como uma região determinada para cálculo do valor de avaliação do candidato descrito acima. A regi- ão determinada pode ser predeterminada.

[00193] A figura 23 é um diagrama conceitual para ilustrar um exemplo da primeira combinação de padrão (combinação bilateral) en- tre os dois blocos nas duas imagens de referência, ao longo da trajetó- ria de movimento. Como ilustrado na figura 23, na primeira combina- ção de padrão, dois vetores de movimento (MVO, MV1) são derivados pela estimativa de um par que melhor combina entre os pares nos dois blocos nas duas imagens de referência diferentes (RefO, Ref1), que são os dois blocos ao longo da trajetória de movimento do bloco atual (Cur block). Mais especificamente, uma diferença entre a imagem re- construída em um local específico na primeira imagem de referência codificada (RefO), especificada por um candidato a MV, e a imagem reconstruída em um local especificado na segunda imagem de refe- rência codificada (Ref1), especificada por um MV simétrico obtido pelo escalonamento do candidato a MV em um intervalo de tempo de exibi- ção é derivada para o bloco atual, e um valor de avaliação é calculado utilizando-se o valor da diferença obtida. É possível se selecionar, co- mo o MV final, o candidato a MV que resulte no melhor valor de avali- ação dentre a pluralidade de candidatos a MV, e que tem mais chan- ces de produzir bons resultados.

[00194] “Considerando-se uma trajetória de movimento contínuo, os vetores de movimento (MVO, MV1), especificando os dois blocos de referência são proporcionais às distâncias temporais (TDO, TD1) entre a imagem atual (Cur Pic) e as duas imagens de referência (Ref0, Ref1). Por exemplo, quando a imagem atual é localizada temporal- mente entre duas imagens de referência e as distâncias temporais da imagem atual para as respectivas duas imagens de referência são iguais uma à outra, os vetores de movimento bidirecional simétricos de forma espelhada são derivados na primeira combinação de padrão. Derivação de MV > FRUC > Combinação de Gabarito

[00195] Na segunda combinação de padrão (combinação de gabari- to), a combinação de padrão é realizada entre um bloco em uma ima- gem de referência e um gabarito na imagem atual (o gabarito é um bloco vizinho do bloco atual na imagem atual (o bloco vizinho, por exemplo, é um bloco vizinho superior e/ou esquerdo)). De acordo, na segunda combinação de padrão, o bloco vizinho do bloco atual na imagem atual é utilizado como a região determinada para cálculo do valor de avaliação do candidato descrito acima.

[00196] A figura 24 é um diagrama conceitual para ilustrar um exemplo de combinação de padrão (combinação de gabarito) entre um gabarito em uma imagem atual e um bloco em uma imagem de refe- rência. Como ilustrado na figura 24, na segunda combinação de pa- drão, o vetor de movimento do bloco atual (Cur block) é derivado pela estimativa, na imagem de referência (RefO0) do bloco que melhor com- bina com o bloco vizinho do bloco atual na imagem atual (Cur Pic). Mais especificamente, é possível que a diferença entre uma imagem reconstruída em uma região codificada, que é vizinha tanto pela es- querda, quanto por cima, ou pela esquerda ou acima, e uma imagem reconstruída, que está em uma região correspondente na imagem de referência codificada (Ref0) e é especificada por um candidato a MV, seja derivada; um valor de avaliação é calculado utilizando-se o valor de diferença obtido, e o candidato a MV que resulta no melhor valor de avaliação, dentre uma pluralidade de candidatos a MV, é selecionado como o melhor candidato a MV.

[00197] Tal informação que indica se o modo FRUC é aplicado (re- ferido, por exemplo, como um indicador FRUC), pode ser sinalizada no nível de CU. Adicionalmente, quando o modo FRUC é aplicado (por exemplo, quando um indicador FRUC é verdadeiro), a informação que indica um método de combinação de padrão aplicável (a primeira combinação de padrão ou a segunda combinação de padrão) pode ser sinalizada no nível de CU. Deve-se notar que a sinalização de tal in- formação não precisa, necessariamente, ser realizada no nível de CU, e pode ser realizada em outro nível (por exemplo, no nível de sequên- cia, nível de imagem, nível de fatia, nível de “tile”, nível de CTU ou ní- vel de sub-bloco). Derivação de MV > Modo Afim

[00198] A seguir, o modo afim, para derivar um vetor de movimento em unidades de um sub-bloco, com base nos vetores de movimento de uma pluralidade de blocos vizinhos, é descrito. Esse modo também é referido como um modo de previsão de compensação de movimento afim.

[00199] A figura 25A é um diagrama conceitual para ilustrar um exemplo de derivação de um vetor de movimento de cada sub-bloco com base nos vetores de movimento de uma pluralidade de blocos vi- zinhos. Na figura 25A, o bloco atual inclui dezesseis sub-blocos de 4 x

4. Aqui, o vetor de movimento Vo em um ponto de controle de canto superior esquerdo no bloco atual, é derivado com base em um vetor de movimento de um bloco vizinho, e, da mesma forma, o vetor de movimento V; em um ponto de controle de canto superior direito no bloco atual é derivado com base em um vetor de movimento de um sub-bloco vizinho. Dois vetores de movimento vo e v: podem ser proje-

tados de acordo com uma expressão (1A) indicada abaixo, e os veto- res de movimento (vx, v,) para os sub-blocos respectivos no bloco atu- al podem ser derivados. Matemática 1 vi = Feras, o array 4 vo Z ” (14)

[00200] Aqui, xey indicam a posição horizontal e a posição vertical do sub-bloco, respectivamente, e w indica um coeficiente de pondera- ção determinado. O coeficiente de ponderação determinado pode ser predeterminado.

[00201] Tal informação indicando o modo afim (por exemplo, referi- do como um indicador afim) pode ser sinalizada no nível de CU. Deve- se notar que a sinalização da informação que indica o modo afim não precisa, necessariamente, ser realizada no nível de CU, e pode ser realizada em outro nível (por exemplo, no nível de sequência, nível de imagem, nível de fatia, nível de “tile”, nível de CTU ou nível de sub- bloco).

[00202] — Adicionalmente, o modo afim pode incluir vários modos pa- ra diferentes métodos de derivação de vetores de movimento nos pon- tos de controle do canto superior esquerdo e superior direito. Por exemplo, o modo afim inclui dois modos que são o intermodo afim (também referido como um intermodo normal afim) e o modo de mistu- ra afim. Derivação de MV > Modo Afim

[00203] A figura 25B é um diagrama conceitual para ilustrar um exemplo de derivação de um vetor de movimento de cada sub-bloco no modo afim, no qual três pontos de controle são utilizados. Na figura 25B, o bloco atual inclui dezesseis blocos de 4 x 4. Aqui, o vetor de movimento Vo no ponto de controle de canto superior esquerdo para o bloco atual é derivado com base em um vetor de movimento de um bloco vizinho, e, da mesma forma, o vetor de movimento V; no ponto de controle de canto superior direito para o bloco atual é derivado com base em um vetor de movimento de um bloco vizinho, e o vetor de movimento V2 no ponto de controle do canto inferior esquerdo do bloco atual é derivado com base em um vetor de movimento de um bloco vizinho. Três vetores de movimento vo, v1 e vz podem ser projetados de acordo com uma expressão (1B) indicada abaixo, e os vetores de movimento (vx, vy) para os sub-blocos respectivos no bloco atual po- dem ser derivados. Matemática 2 v.= Fo — Far, + Vox am ny = Cama, - Fanta 4,

[00204] —Aqui,xey indicam a posição horizontal e a posição vertical do centro do sub-bloco, respectivamente, w indica a largura do bloco atual, e h indica a altura do bloco atual.

[00205] Os modos afim, nos quais diferentes números de pontos de controle (por exemplo, dois e três pontos de controle) são utilizados, podem ser comutados e sinalizados no nível de CU. Deve-se notar que a informação que indica o número de pontos de controle no modo afim utilizado no nível de CU, pode ser sinalizada em outro nível (por exemplo, no nível de sequência, nível de imagem, nível de fatia, nível de “tile”, nível de CTU ou nível de sub-bloco).

[00206] Adicionalmente, tal modo afim, no qual os três pontos de controle são utilizados, pode incluir diferentes métodos de derivação dos vetores de movimento nos pontos de controle de canto superior esquerdo, superior direito e inferior esquerdo. Por exemplo, os modos afim incluem dois modos que são o intermodo afim (também referido como o intermodo normal afim) e o modo de mistura afim.

Derivação de MV > Modo de Mistura Afim

[00207] As figuras 26A, 26B e 26C são diagramas conceituais para ilustrar o modo de mistura afim.

[00208] “Como ilustrado na figura 26A, no modo de mistura afim, por exemplo, os previsores de vetor de movimento nos pontos de controle respectivos de um bloco atual são calculados com base em uma plura- lidade de vetores de movimento correspondentes aos blocos codifica- dos, de acordo com o modo afim dentre o bloco codificado A (esquer- do), o bloco B (superior), o bloco C (superior direito), o bloco D (inferior esquerdo) e o bloco E (superior esquerdo) que são vizinhos do bloco atual. Mais especificamente, o bloco codificado A (esquerdo), o bloco B (superior), o bloco C (superior direito), o bloco D (inferior esquerdo) e o bloco E (superior esquerdo) são verificados na ordem listada, e o primeiro bloco efetivo codificado de acordo com o modo afim é identifi- cado. Os previsores de vetor de movimento nos pontos de controle do bloco atual são calculados com base em uma pluralidade de vetores de movimento correspondendo ao bloco identificado.

[00209] Por exemplo, como ilustrado na figura 26B, quando o bloco A, que é vizinho pelo lado esquerdo do bloco atual, foi codificado de acordo com um modo afim no qual dois pontos de controle são utiliza- dos, os vetores de movimento v3 e va projetados na posição de canto superior esquerdo e na posição de canto superior direito do bloco codi- ficado, incluindo o bloco A, são derivados. O previsor de vetor de mo- vimento vo no ponto de controle do canto superior esquerdo do bloco atual e o previsor de vetor de movimento v1 no ponto de controle do canto superior direito do bloco atual são, então, calculados a partir dos vetores de movimento derivados v3 e va.

[00210] Por exemplo, como ilustrado na figura 26C, quando o bloco A, que é vizinho pelo lado esquerdo do bloco atual, foi codificado de acordo com um modo afim no qual três pontos de controle são utiliza-

dos, os vetores de movimento v3, va e vs, projetados na posição de canto superior esquerdo, na posição de canto superior direito, e na po- sição de canto inferior esquerdo do bloco codificado, incluindo o bloco A, são derivados. O previsor de vetor de movimento vo no ponto de controle do canto superior esquerdo do bloco atual, o previsor de vetor de movimento v: no ponto de controle do canto superior direito do blo- co atual, e o previsor de vetor de movimento v2 no ponto de controle do canto inferior esquerdo do bloco atual são, então, calculados a par- tir dos vetores de movimento derivados v3, va e vs.

[00211] Deve-se notar que esse método de derivação de previsores de vetor de movimento pode ser utilizado para derivar os previsores de vetor de movimento dos pontos de controle respectivos do bloco atual na Etapa Sj 1 na figura 29 descrita posteriormente.

[00212] A figura 27 é um gráfico ilustrando um exemplo do modo de mistura afim.

[00213] No modo de mistura afim como ilustrado, primeiro, o inter- previsor 126 deriva os previsores de MV dos pontos de controle res- pectivos de um bloco atual (Etapa Sk 1). Os pontos de controle são um ponto de canto superior esquerdo do bloco atual e um ponto de canto superior direito do bloco atual, como ilustrado na figura 25A, ou um ponto de canto superior esquerdo do bloco atual, um ponto de can- to superior direito do bloco atual, e um ponto de canto inferior esquer- do do bloco atual, como ilustrado na figura 25B.

[00214] Em outras palavras, como ilustrado na figura 26A, o inter- previsor 126 verifica o bloco A codificado (esquerdo), o bloco B (supe- rior), o bloco C (superior direito), o bloco D (inferior esquerdo), e o blo- co E (superior esquerdo) na ordem listada, e identifica o primeiro bloco efetivo codificado de acordo com o modo afim.

[00215] “Quando o bloco A é identificado e o bloco A possui dois pontos de controle, como ilustrado na figura 26B, o interprevisor 126 calcula o vetor de movimento vo no ponto de controle do canto superior esquerdo do bloco atual, e o vetor de movimento vi: no ponto de con- trole do canto superior direito do bloco atual, a partir dos vetores de movimento v3 e va no canto superior esquerdo, e no canto superior di- reito do bloco codificado, incluindo o bloco A. Por exemplo, o interpre- visor 126 calcula o vetor de movimento vo no ponto de controle do can- to superior esquerdo do bloco atual, e o vetor de movimento v1: no pon- to de controle do canto superior direito do bloco atual pela projeção dos vetores de movimento v3 e va no canto superior esquerdo e no canto superior direito do bloco codificado no bloco atual.

[00216] Alternativamente, quando o bloco A é identificado, e o bloco A possui três pontos de controle, como ilustrado na figura 26C, o inter- previsor 126 calcula o vetor de movimento vo no ponto de controle do canto superior esquerdo do bloco atual, o vetor de movimento vi: no ponto de controle do canto superior direito do bloco atual, e o vetor de movimento v2 no ponto de controle do canto inferior esquerdo do bloco atual, a partir dos vetores de movimento v3, va e v5 no canto superior esquerdo, no canto superior direito e no canto inferior esquerdo do bloco codificado incluindo o bloco A. Por exemplo, o interprevisor 126 calcula o vetor de movimento vo no ponto de controle do canto superior esquerdo do bloco atual, o vetor de movimento v1 no ponto de controle do canto superior direito do bloco atual, e o vetor de movimento v2 no ponto de controle do canto inferior esquerdo do bloco atual, pela proje- ção dos vetores de movimento v3, va e vs no canto superior esquerdo, e no canto superior direito e no canto inferior esquerdo do bloco codifi- cado no bloco atual.

[00217] A seguir, o interprevisor 126 realiza a compensação de mo- vimento de cada um dentre uma pluralidade de sub-blocos incluídos no bloco atual. Em outras palavras, o interprevisor 126 calcula, para cada um dentre a pluralidade de sub-blocos, um vetor de movimento do sub-bloco como um MV afim, pela utilização de (i) dois previsores de vetor de movimento vo e v: e a expressão (1A) descrita acima, ou (ii) três previsores de vetor de movimento vo, v1, e V2 e a expressão (1B) descrita acima (Etapa Sk 2). O interprevisor 126, então, realiza a compensação de movimento dos sub-blocos utilizando esses MVs afim e as imagens de referência codificadas (Etapa Sk 3). Como re- sultado disso, a compensação de movimento do bloco atual é realiza- da para gerar uma imagem de previsão do bloco atual. Derivação de MV > Intermodo Afim

[00218] A figura 28A é um diagrama conceitual para ilustrar um in- termodo afim, no qual dois pontos de controle são utilizados.

[00219] No intermodo afim, como ilustrado na figura 28A, um vetor de movimento é selecionado a partir dos vetores de movimento do bloco A codificado, do bloco B, e do bloco C, que são vizinhos do blo- co atual, é utilizado como o previsor de vetor de movimento vo no pon- to de controle do canto superior esquerdo do bloco atual. Da mesma forma, um vetor de movimento selecionado a partir dos vetores de mo- vimento do bloco codificado D e do bloco E, que são vizinhos do bloco atual, é utilizado como o previsor de vetor de movimento v: no ponto de controle do canto superior direito do bloco atual.

[00220] A figura 28B é um diagrama conceitual para ilustrar um in- termodo afim, no qual três pontos de controle são utilizados.

[00221] No intermodo afim, como ilustrado na figura 28B, um vetor principal selecionado a partir dos vetores de movimento do bloco A codificado, do bloco B e do bloco C, que são vizinhos do bloco atual, é utilizado como o previsor de vetor de movimento vo no ponto de contro- le do canto superior esquerdo do bloco atual. Da mesma forma, um vetor de movimento selecionado a partir dos vetores de movimento do bloco D codificado e do bloco E, que são vizinhos do bloco atual, é uti- lizado como o previsor do vetor de movimento v1 no ponto de controle do canto superior direito do bloco atual. Adicionalmente, um vetor de movimento selecionado a partir dos vetores de movimento do bloco codificado F e do bloco G, que são vizinhos do bloco atual, é utilizado como o previsor de vetor de movimento v2 no ponto de controle do canto inferior esquerdo do bloco atual.

[00222] A figura 29 é um fluxograma ilustrando um exemplo de um intermodo afim.

[00223] No intermodo afim, como ilustrado, primeiro o interprevisor 126 deriva previsores de MV (vo, v1) ou (vo, v1, v2) dos dois ou três pon- tos de controle respectivos de um bloco atual (Etapa Sj 1). Os pontos de controle são um ponto de canto superior esquerdo do bloco atual e um ponto de canto superior direito do bloco atual como ilustrado na figura 25A ou um ponto de canto superior esquerdo do bloco atual, um ponto de canto superior direito do bloco atual, e um ponto de canto in- ferior esquerdo do bloco atual, como ilustrado na figura 25B.

[00224] Em outras palavras, o interprevisor 126 deriva os previsores de vetor de movimento (vo, v1) ou (vo, v1, v2) dos dois ou três pontos de controle respectivos do bloco atual pela seleção de vetores de movi- mento de qualquer um dos blocos dentre os blocos codificados nas proximidades dos pontos de controle respectivos do bloco atual, ilus- trados na figura 28A ou na figura 28B. Nesse momento, o interprevisor 126 codifica, em uma sequência, a informação de seleção do previsor de vetor de movimento para identificar os dois vetores de movimento selecionados.

[00225] Por exemplo, o interprevisor 126 pode determinar, utilizan- do uma avaliação de custo ou similar, o bloco a partir do qual um vetor de movimento, como um previsor de vetor de movimento em um ponto de controle, é selecionado dentre os blocos codificados vizinhos do bloco atual, e pode descrever, em uma sequência de bits, um indica- dor que indica qual previsor de vetor de movimento foi selecionado.

[00226] A seguir, o interprevisor 126 realiza a estimativa de movi- mento (Etapa Sj 3 e Sj 4), enquanto atualiza um previsor de vetor de movimento selecionado ou derivado na Etapa Sj 1 (Etapa Sj 2). Em outras palavras, o interprevisor 126 calcula, como um MV afim, um ve- tor de movimento de cada um dos sub-blocos que correspondem a um previsor de vetor de movimento atualizado, utilizando a expressão (1A) ou a expressão (1B) descrita acima (Etapa Sj 3). O interprevisor 126, então, realiza a compensação de movimento dos sub-blocos utilizando esses MVs afim e as imagens de referência codificadas (Etapa Sj 4). Como resultado disso, por exemplo, o interprevisor 126 determina o previsor de vetor de movimento que resulta no menor custo como o vetor de movimento em um ponto de controle em um circuito de esti- mativa de movimento (Etapa Sj 5). Nesse momento, o interprevisor 126 codifica, adicionalmente, na sequência, o valor de diferença entre o MV determinado e o previsor de vetor de movimento como uma dife- rença de MV.

[00227] Por fim, o interprevisor 126 gera uma imagem de previsão para o bloco atual pela realização da compensação de movimento do bloco atual, utilizando o MV determinado e a imagem de referência co- dificada (Etapa Sj 6). Derivação de MV > Intermodo Afim

[00228] “Quando os modos afim, nos quais números diferentes de pontos de controle (por exemplo, dois e três pontos de controle) são utilizados, podem ser intercalados e sinalizados no nível de CU, o nú- mero de pontos de controle em um bloco codificado, e o número de pontos de controle em um bloco atual, podem ser diferentes um do ou- tro. A figura 30A e a figura 30B são diagramas conceituais para ilustrar os métodos para derivar os previsores de vetor de movimento nos pontos de controle, quando o número de pontos de controle em um bloco codificado e o número de pontos de controle em um bloco atual são diferentes um do outro.

[00229] Por exemplo, como ilustrado na figura 30A, quando um blo- co atual possui três pontos de controle no canto superior esquerdo, no canto superior direito e no canto inferior esquerdo, e o bloco A, que é vizinho pelo lado esquerdo do bloco atual, foi codificado de acordo com um modo afim, no qual dois pontos de controle são utilizados, os vetores de movimento v3 e va, projetados na posição de canto superior esquerdo e na posição de canto superior direito no bloco codificado, incluindo o bloco A, são derivados. O previsor de vetor de movimento vo no ponto de controle do canto superior esquerdo do bloco atual e o previsor de vetor de movimento v: no ponto de controle do canto supe- rior direito do bloco atual são, então, calculados a partir dos vetores de movimento derivados v3 e va. Adicionalmente, o previsor de vetor de movimento v2 no ponto de controle do canto inferior esquerdo é calcu- lado a partir dos vetores de movimento derivados vo e vi.

[00230] Por exemplo, como ilustrado na figura 30B, quando um blo- co atual possui dois pontos de controle no canto superior esquerdo e no canto superior direito, e o bloco A, que é vizinho pelo lado esquerdo do bloco atual, foi codificado de acordo com o modo afim, no qual três pontos de controle são utilizados, os vetores de movimento v3, va e Vs, projetados na posição de canto superior esquerdo, posição de canto superior direito e posição do canto inferior esquerdo no bloco codifica- do, incluindo o bloco A, são derivados. O previsor de vetor de movi- mento vo no ponto de controle do canto superior esquerdo do bloco atual e o previsor de vetor de movimento v1 no ponto de controle do canto superior direito do bloco atual são, então, calculados a partir dos vetores de movimento derivados v3, va e v5.

[00231] Deve-se notar que esse método de derivação de previsores de vetor de movimento, pode ser utilizado para derivar os previsores de vetor de movimento dos pontos de controle respectivos do bloco atual na Etapa Sj 1 na figura 29. Derivação de MV > DMVR

[00232] A figura 31A é um fluxograma ilustrando uma relação entre o modo de mistura e DMVR.

[00233] O interprevisor 126 deriva um vetor de movimento de um bloco atual, de acordo com o modo de mistura (Etapa SI 1). A seguir, o interprevisor 126 determina se realiza a estimativa de um vetor de movimento, isso é, a estimativa de movimento (Etapa SI 2). Aqui, quando da determinação da não realização da estimativa de movimen- to (Não, na Etapa SI 2), o interprevisor 126 determina o vetor de mo- vimento derivado na Etapa SI 1 como o vetor de movimento final para o bloco atual (Etapa SI 4). Em outras palavras, nesse caso, o vetor de movimento do bloco atual é determinado de acordo com o modo de mistura.

[00234] “Quando da determinação da realização da estimativa de movimento na Etapa SI 1 (Sim na Etapa SI 2), o interprevisor 126 de- riva o vetor de movimento final para o bloco atual pela estimativa de uma região circundante da imagem de referência, especificada pelo vetor de movimento derivado na Etapa SI 1 (Etapa SI 3). Em outras palavras, nesse caso, o vetor de movimento do bloco atual é determi- nado de acordo com DMVR.

[00235] A figura 31B é um diagrama conceitual para ilustrar um exemplo de um processo DMVR para determinar um MV.

[00236] Primeiro, (por exemplo, no modo de mistura) o melhor MVP, que foi configurado para o bloco atual, é determinado como sen- do um candidato a MV. Um pixel de referência é identificado a partir de uma primeira imagem de referência (LO) que é uma imagem codificada na direção LO, de acordo com um candidato a MV (LO). Da mesma forma, um pixel de referência é identificado a partir de uma segunda imagem de referência (L1) que é uma imagem codificada na direção

L1 de acordo com um candidato a MV (L1). Um gabarito é gerado pelo cálculo de uma média desses pixels de referência.

[00237] A seguir, cada uma das regiões circundantes dos candida- tos a MV da primeira imagem de referência (LO) e da segunda imagem de referência (L1) é estimada, e o MV que resultar no menor custo é determinado como sendo o MV final. Deve-se notar que o valor de custo pode ser calculado, por exemplo, utilizando-se um valor de dife- rença entre cada um dos valores de pixel no gabarito e um valor cor- respondente dos valores de pixel na região de estimativa, os valores dos candidatos a MV, etc.

[00238] Deve-se notar que os processos, configurações e opera- ções descritos aqui são tipicamente e basicamente comuns entre o codificador e um decodificador a serem descritos posteriormente.

[00239] Exatamente os mesmos processos ilustrativos descritos aqui, nem sempre precisam ser realizados. Qualquer processo para permitir a derivação do MV final pela estimativa nas regiões circundan- tes dos candidatos a MV pode ser utilizado.

Compensação de Movimento > BIO/OBMC

[00240] A compensação de movimento envolve um modo de gera- ção de uma imagem de previsão, e a correção da imagem de previsão.

O modo é, por exemplo, BIO e OBMC a serem descritos posteriormen- te.

[00241] A figura 32 é um fluxograma ilustrando um exemplo de ge- ração de uma imagem de previsão.

[00242] O interprevisor 126 gera uma imagem de previsão (Etapa Sm 1), e corrige a imagem de previsão, por exemplo, de acordo com qualquer um dos modos descritos acima (Etapa Sm 2).

[00243] A figura 33 é um fluxograma ilustrando outro exemplo de geração de uma imagem de previsão.

[00244] O interprevisor 126 determina um vetor de movimento de um bloco atual (Etapa Sn 1). A seguir, o interprevisor 126 gera uma imagem de previsão (Etapa Sn 2), e determina se realiza um processo de correção (Etapa Sn 3). Aqui, quando da determinação da realiza- ção de um processo de correção (Sim na Etapa Sn 3), o interprevisor 126 gera a imagem de previsão final pela correção da imagem de pre- visão (Etapa Sn 4). Quando da determinação da não realização de um processo de correção (Não na Etapa Sn 3), o interprevisor 126 envia a imagem de previsão como a imagem de previsão final, sem corrigir a imagem de previsão (Etapa Sn 5).

[00245] — Adicionalmente, a compensação de movimento envolve um modo de correção de uma luminescência de uma imagem de previsão, quando da geração da imagem de previsão. O modo é, por exemplo, LIC a ser descrito posteriormente.

[00246] A figura 34 é um fluxograma ilustrando outro exemplo da geração de uma imagem de previsão.

[00247] O interprevisor 126 deriva um vetor de movimento de um bloco atual (Etapa So 1). A seguir, o interprevisor 126 determina se realiza um processo de correção de luminescência (Etapa So 2). Aqui, quando da determinação da realização de um processo de correção de luminescência (Sim na Etapa So 2), o interprevisor 126 gera a imagem de previsão enquanto realiza um processo de correção de lu- minescência (Etapa So 3). Em outras palavras, a imagem de previsão é gerada utilizando-se LIC. Quando da determinação da não realiza- ção de um processo de correção de luminescência (Não na etapa So 2), o interprevisor 126 gera uma imagem de previsão pela realiza- ção da compensação de movimento normal, sem realizar um processo de correção de luminescência (Etapa So 4). Compensação de Movimento > OBMC

[00248] É notado que um sinal de interprevisão pode ser gerado utilizando-se a informação de movimento para um bloco vizinho em adição à informação de movimento para o bloco atual, obtida a partir da estimativa de movimento. Mais especificamente, o sinal de inter- previsão pode ser gerado em unidades de um sub-bloco no bloco atu- al, pela realização de uma adição ponderada de um sinal de previsão com base na informação de movimento obtida a partir da estimativa de movimento (na imagem de referência) e um sinal de previsão com ba- se na informação de movimento para um bloco vizinho (na imagem atual). Tal interprevisão (compensação de movimento) também é refe- rida como compensação de movimento de bloco sobreposto (OBMC).

[00249] “No modo OBMC, a informação indicando um tamanho de sub-bloco para OBMC (referida como, por exemplo, um tamanho de bloco OBMC) pode ser sinalizada no nível de sequência. Ademais, a informação que indica se aplica o modo OBMC (referido como, por exemplo, um indicador OBMC) pode ser sinalizada no nível de CU. Deve-se notar que a sinalização de tal informação não precisa, neces- sariamente, ser realizada no nível de sequência e no nível de CU, e pode ser realizada em outro nível (por exemplo, no nível de imagem, no nível de fatia, no nível de “tile”, no nível de CTU ou no nível de sub- bloco).

[00250] Exemplos do modo OBMC serão descritos em maiores de- talhes. As figuras 35 e 36 são um fluxograma e um diagrama conceitu- al para ilustrar um contorno de um processo de correção de imagem de previsão realizado por um processo OBMC.

[00251] — Primeiro, como ilustrado na figura 36, uma imagem de pre- visão (Pred) é obtida através da compensação de movimento normal utilizando um vetor de movimento (MV) designado para o bloco alvo de processamento (atual). Na figura 36, a seta "MV" aponta para uma imagem de referência, e indica qual bloco atual da imagem atual se refere a fim de obter uma imagem de previsão.

[00252] A seguir, uma imagem de previsão (Pred L) é obtida pela aplicação de um vetor de movimento (MV L), que já foi derivado para o bloco codificado vizinho pelo lado esquerdo do bloco atual, para o bloco atual (reutilizando o vetor de movimento para o bloco atual). O vetor de movimento (MV L) é indicado por uma seta "MV L" indicando uma imagem de referência a partir de um bloco atual. Uma primeira correção de uma imagem de previsão é realizada pela sobreposição de duas imagens de previsão Pred e Pred L. Isso fornece um efeito de mistura do limite entre os blocos vizinhos.

[00253] Da mesma forma, uma imagem de previsão (Pred U é obtida pela aplicação de um vetor de movimento (MV U), que já foi derivado para o bloco codificado vizinho pelo lado de cima do bloco atual, para o bloco atual (reutilizando o vetor de movimento para o blo- co atual). O vetor de movimento (MV U) é indicado por uma seta "MV U" indicando uma imagem de referência de um bloco atual. Uma segunda correção de uma imagem de previsão é realizada pela sobre- posição da imagem de previsão Pred U às imagens de previsão (por exemplo, Pred e Pred L) nas quais a primeira correção foi realizada. Isso fornece um efeito de mistura do limite entre os blocos vizinhos. À imagem de previsão obtida pela segunda correção é uma na qual o limite entre os blocos vizinhos foi misturado (suavizado), e, dessa for- ma, é a imagem de previsão final do bloco atual.

[00254] Apesar de o exemplo acima ser um método de correção de dois percursos utilizando os blocos vizinhos esquerdo e superior, de- ve-se notar que o método de correção pode ser o método de correção de três ou mais percursos, utilizando também o bloco vizinho direito e/ou o bloco vizinho inferior.

[00255] Deve-se notar que a região, na qual tal sobreposição é rea- lizada, pode ser parte apenas de uma região perto de um limite de blo- co, em vez da região de pixel de todo o bloco.

[00256] Deve-se notar que o processo de correção de imagem de previsão, de acordo com OBMC, para obtenção de uma imagem de previsão Pred a partir de uma imagem de referência pela sobreposição da imagem de previsão adicional Pred L e Pred U foi descrito acima. No entanto, quando uma imagem de previsão é corrigida com base em uma pluralidade de imagens de referência, um processo similar pode ser aplicado a cada uma dentre a pluralidade de imagens de referên- cia. Em tal caso, depois que as imagens de previsão corrigidas são obtidas a partir das imagens de referência respectivas pela realização da correção de imagem OBMC, com base na pluralidade de imagens de referência, as imagens de previsão corrigidas obtidas são adicio- nalmente sobrepostas para obter a imagem de previsão final.

[00257] Deve-se notar que, em OBMC, a unidade de um bloco atual pode ser a unidade de um bloco de previsão ou a unidade de um sub- bloco obtido pela divisão adicional do bloco de previsão.

[00258] Um exemplo de um método para determinar se um proces- so OBMC deve ser aplicado, é um método para utilizar um obmc flag, que é um sinal que indica se um processo OBMC deve ser aplicado. Como um exemplo específico, um codificador determina se o bloco atual pertence a uma região possuindo movimento complicado. O codi- ficador configura o obmc flag para um valor igual a "1" quando o bloco pertence a uma região possuindo movimento complicado e aplica um processo OBMC quando da codificação, e configura obmc flag para um valor igual a "0", quando o bloco não pertence a uma região pos- suindo movimento complicado e codifica o bloco sem aplicar um pro- cesso OBMC. O decodificador comuta entre a aplicação e a não apli- cação de um processo OBMC pela decodificação de obmc flag escrito na sequência (por exemplo, uma sequência comprimida) e pela deco- dificação do bloco pela comutação entre uma aplicação e uma não aplicação do processo OBMC, de acordo com o valor do indicador.

[00259] O interprevisor 126 gera uma imagem de previsão retangu-

lar para um bloco atual retangular no exemplo acima. No entanto, o interprevisor 126 pode gerar uma pluralidade de imagens de previsão, cada uma possuindo um formato diferente de um retângulo para o blo- co atual retangular, e pode combinar a pluralidade de imagens de pre- visão para gerar a imagem de previsão retangular final. O formato dife- rente de um retângulo pode ser, por exemplo, um triângulo.

[00260] A figura 37 é um diagrama conceitual para ilustrar a gera- ção de duas imagens de previsão triangulares.

[00261] O interprevisor 126 gera uma imagem de previsão triangu- lar pela realização da compensação de movimento de uma primeira partição possuindo um formato triangular em um bloco atual pela utili- zação de um primeiro MV da primeira partição, para gerar uma ima- gem de previsão triangular. Da mesma forma, o interprevisor 126 gera uma imagem de previsão triangular pela realização da compensação de movimento de uma segunda partição, possuindo um formato trian- gular em um bloco atual pela utilização de um segundo MV da segun- da partição, para gerar uma imagem de previsão triangular. O interpre- visor 126, então, gera uma imagem de previsão possuindo o mesmo formato retangular que o formato retangular do bloco atual pela combi- nação dessas imagens de previsão.

[00262] “Deve-se notar que, apesar de a primeira partição e a se- gunda partição serem triângulos no exemplo ilustrado na figura 37, a primeira partição e a segunda partição podem ser trapezoides, ou ou- tros formatos diferentes um do outro. Adicionalmente, apesar de o blo- co atual incluir duas partições no exemplo ilustrado na figura 37, o blo- co atual pode incluir três ou mais partições.

[00263] Adicionalmente, a primeira partição e a segunda partição podem se sobrepor uma à outra. Em outras palavras, a primeira parti- ção e a segunda partição podem incluir a mesma região de pixel. Nes- se caso, uma imagem de previsão para um bloco atual pode ser gera-

da utilizando-se uma imagem de previsão na primeira partição e uma imagem de previsão na segunda partição.

[00264] — Adicionalmente, apesar de um exemplo, no qual uma ima- gem de previsão é gerada para cada duas partições utilizando a inter- previsão, uma imagem de previsão pode ser gerada para pelo menos uma partição utilizando intraprevisão. Compensação de Movimento > BIO

[00265] A seguir, um método de derivação de um vetor de movi- mento é descrito. Primeiro, um modo de derivação de um vetor de mo- vimento com base em um modelo que assume o movimento linear uni- forme será descrito. Esse modo também é referido como um modo de fluxo ótico bidirecional (BIO).

[00266] A figura38 é um diagrama conceitual para ilustrar um mo- delo que assume o movimento linear uniforme. Na figura 38 (vx, vy) indica um vetor de velocidade, e 70 e 11 indicam as distâncias tempo- rais entre uma imagem atual (Cur Pic) e duas imagens de referência (RefO, Ref1). (MVx0, MVyO) indicam os vetores de movimento corres- pondentes à imagem de referência RefO0, e (MVx1, MVy1) indicam os vetores de movimento correspondentes à imagem de referência Ref1.

[00267] Aqui, considerando-se o movimento linear uniforme exibido pelos vetores de velocidade (vx, vy), (MVxo, MVyo) e (MVx1, MVy:) são representados como (vxto, Vyto) E (-VxtTim -Vyt1), respectivamente, e a seguinte equação de fluxo ótico (2) pode ser empregada. Matemática 3

[00268] al /Bt+v,8lM/ax+v,alP/ay— U.C2)Aqui, I(Kk) indica um valor de luminescência de movimento compensado da imagem de referência k (k = 0, 1). Essa equação de fluxo ótico ilustra que a soma de (i) a derivação de tempo do valor de luminescência, (ii) o produto da velocidade horizontal e do componente horizontal do gradiente espaci- al de uma imagem de referência, e (iii) o produto da velocidade vertical e do componente vertical do gradiente espacial de uma imagem de referência, é igual a zero. Um vetor de movimento de cada bloco obti- do a partir, por exemplo, de uma lista de mistura pode ser corrigido em unidades de um pixel, com base em uma combinação da equação de fluxo ótico e interpolação Hermite.

[00269] “Deve-se notar que um vetor de movimento pode ser deriva- do no lado do decodificador, utilizando um método além da derivação de um vetor de movimento, com base em um modelo que assume o movimento linear uniforme. Por exemplo, um vetor de movimento pode ser derivado em unidades de um sub-bloco com base nos vetores de movimento dos blocos vizinhos. Compensação de Movimento > LIC

[00270] A seguir, um exemplo de um modo no qual uma imagem de previsão (prediction) é gerada pela utilização de um processo de com- pensação de iluminação local (LIC) será descrito.

[00271] A figura 39 é um diagrama conceitual para ilustrar um exemplo de um método de geração de imagem de previsão utilizando um processo de correção de luminescência realizado por um processo LIC.

[00272] Primeiro, um MV é derivado a partir de uma imagem de re- ferência codificada, e uma imagem de referência correspondente ao bloco atual é obtida.

[00273] A seguir, a informação indicando como o valor de lumines- cência foi alterado, entre a imagem de referência e a imagem atual, é extraída para o bloco atual. Essa extração é realizada com base nos valores de pixel de luminescência para a região de referência vizinha pelo lado esquerdo codificada (cercando a região de referência) e a região de referência vizinha superior codificada (cercando a região de referência), e o valor de pixel de luminescência na posição correspon- dente na imagem de referência especificada pelo MV derivado. Um parâmetro de correção de luminescência é calculado pela utilização da informação que indica como o valor de luminescência mudou.

[00274] Aimagem de previsão para o bloco atual é gerada pela rea- lização de um processo de correção de luminescência no qual o parâà- metro de correção de luminescência é aplicado à imagem de referên- cia na imagem de referência especificada pelo MV.

[00275] É notado que o formato da região de referência circundante ilustrada na figura 39 é apenas um exemplo de que a região de refe- rência circundante pode ter um formato diferente.

[00276] Ademais, apesar de o processo no qual uma imagem de previsão é gerada a partir de uma única imagem de referência ter sido descrito aqui, casos nos quais uma imagem de previsão é gerada a partir de uma pluralidade de imagens de referência podem ser descri- tos da mesma forma. A imagem de previsão pode ser gerada após a realização de um processo de correção de luminescência das imagens de referência obtidas a partir das imagens de referência da mesma forma que a descrita acima.

[00277] Um exemplo de um método de determinação da aplicação, ou não, de um processo LIC e um método para utilização de um lic flag, que é um sinal que indica a aplicação, ou não, do processo LIC. Como um exemplo específico, o codificador determina se o bloco atual pertence a uma região que possui uma mudança de luminescên- cia. O codificador configura lic flag para um valor igual a "1", quando o bloco pertencer a uma região que possui uma mudança de lumines- cência e aplica um processo LIC quando da codificação, e configura o lic flag para um valor igual a "0" quando o bloco não pertencer a uma região que possui uma mudança de luminescência e codifica o bloco atual sem aplicar um processo LIC. O decodificador pode decodificar lic flag escrito na sequência e decodificar o bloco atual pela comuta- ção entre a aplicação e a não aplicação de um processo LIC de acordo com o valor do indicador.

[00278] Um exemplo de um método diferente de determinação da aplicação, ou não, de um processo LIC é um método de determinação de acordo com o fato de se um processo LIC foi aplicado a um bloco circundante. Em um exemplo específico, quando o modo de mistura é utilizado no bloco atual, o fato de um processo LIC ter sido aplicado na codificação do bloco codificado circundante, selecionado mediante a derivação do MV no processo de modo de mistura, é determinado. De acordo com o resultado, a codificação é realizada pela comutação en- tre a aplicação e a não aplicação de um processo LIC. Deve-se notar que, também nesse exemplo, os mesmos processos são aplicados aos processos no lado do decodificador.

[00279] “Uma modalidade do processo de correção de luminescên- cia (LIC), descrito com referência à figura 39, é descrita em detalhes abaixo.

[00280] Primeiro, o interprevisor 126 deriva um vetor de movimento para obtenção de uma imagem de referência correspondente a um bloco atual a ser codificado a partir de uma imagem de referência, que é uma imagem codificada.

[00281] A seguir, o interprevisor 126 extrai informação indicando como o valor de luminescência da imagem de referência foi alterado para o valor de luminescência da imagem atual, utilizando o valor de pixel de luminescência de uma região de referência circundante codifi- cada, que é vizinha pelo lado esquerdo ou a partir de cima do bloco atual, e o valor de luminescência na posição correspondente na ima- gem de referência especificada por um vetor de movimento, e calcula um parâmetro de correção de luminescência. Por exemplo, é assumi- do que o valor de pixel de luminescência de um pixel determinado na região de referência circundante na imagem atual é p0O, e que o valor de pixel de luminescência do pixel correspondente ao pixel determina-

do na região de referência circundante na imagem de referência é p1. O interprevisor 126 calcula os coeficientes A e B para otimizar A x p1 + B = p0 como o parâmetro de correção de luminescência para uma plu- ralidade de pixels na região de referência circundante.

[00282] A seguir, o interprevisor 126 realiza um processo de corre- ção de luminescência, utilizando o parâmetro de correção de lumines- cência para a imagem de referência na imagem de referência especifi- cada pelo vetor de movimento, para gerar uma imagem de previsão para o bloco atual. Por exemplo, assume-se que o valor de pixel de luminescência na imagem de referência seja p2, e que o valor de pixel de luminescência de luminescência corrigida da imagem de previsão seja p3. O interprevisor 126 gera a imagem de previsão depois de ser submetida ao processo de correção de luminescência pelo cálculo A x p2 + B = p3, para cada um dos pixels na imagem de referência.

[00283] Deve-se notar que o formato da região de referência cir- cundante, ilustrada na figura 39, é um exemplo; um formato diferente do formato da região de referência circundante pode ser utilizado. Adi- cionalmente parte da região de referência circundante, ilustrada na fi- gura 39, pode ser utilizada. Por exemplo, uma região, possuindo um número determinado de pixels extraídos de cada um dentre um pixel vizinho superior um pixel vizinho esquerdo, pode ser utilizada como uma região de referência circundante. O número determinado de pixels pode ser predeterminado.

[00284] Adicionalmente, a região de referência circundante não está limitada a uma região vizinha do bloco atual, e pode ser uma região que não é vizinha do bloco atual. No exemplo ilustrado na figura 39, a região de referência circundante, na imagem de referência, é uma re- gião especificada por um vetor de movimento em uma imagem atual, a partir de uma região de referência circundante na imagem atual. No entanto, uma região especificada por outro vetor de movimento tam-

bém é possível. Por exemplo, o outro vetor de movimento pode ser um vetor de movimento em uma região de referência circundante na ima- gem atual.

[00285] Apesar de as operações realizadas pelo codificador 100 terem sido descritas aqui, deve-se notar que o decodificador 200 reali- za, tipicamente, operações similares.

[00286] Deve-se notar que o processo LIC pode ser aplicado não apenas à luminescência, mas também à crominância. Nesse momen- to, um parâmetro de correção pode ser derivado individualmente para cada um dentre Y, Cb e Cr, ou um parâmetro de correção comum po- de ser utilizado para qualquer um dentre Y, Cb e Cr.

[00287] Adicionalmente, o processo LIC pode ser aplicado em uni- dades de um sub-bloco. Por exemplo, um parâmetro de correção pode ser derivado utilizando-se uma região de referência circundante em um sub-bloco atual e uma região de referência circundante em um sub- bloco de referência em uma imagem de referência especificada por um MV do sub-bloco atual. Controlador de Previsão

[00288] O interprevisor 128 seleciona um dentre um sinal de intra- previsão (um sinal enviado a partir do intraprevisor 124) e um sinal de interprevisão (um sinal enviado a partir do interprevisor 126), e envia o sinal selecionado para o subtraidor 104 e somador 116, como um sinal de previsão.

[00289] “Como ilustrado na figura 1, em vários tipos de exemplos de codificador, o controlador de previsão 128 pode enviar um parâmetro de previsão que é registrado no codificador por entropia 110. O codifi- cador por entropia 110 pode gerar uma sequência de bits codificados (ou uma sequência), com base no parâmetro de previsão que é regis- trado a partir do controlador de previsão 128, e coeficientes quantiza- dos que são registrados a partir do quantizador 108. O parâmetro de previsão pode ser utilizado em um decodificador. O decodificador pode receber e decodificar a sequência de bits codificados, e realizar os mesmos processos que os processos de previsão realizados pelo in- traprevisor 124, interprevisor 126 e controlador de previsão 128. O pa- râmetro de previsão pode incluir: (i) um sinal de previsão de seleção (por exemplo, um vetor de movimento, um tipo de previsão, ou um modo de previsão utilizado pelo intraprevisor 124 ou interprevisor 126), ou (ii) um índice opcional, um indicador, ou um valor que é baseado em um processo de previsão realizado em cada um dentre o intrapre- visor 124, interprevisor 126 e controlador de previsão 128, ou que indi- ca o processo de previsão. Exemplo de Montagem do Codificador

[00290] A figura 40 é um diagrama em bloco ilustrando um exemplo de montagem do codificador 100. O codificador 100 inclui o processa- dor a1 e a memória a2. Por exemplo, a pluralidade de elementos cons- tituintes do codificador 100, ilustrada na figura 1, é montada no pro- cessador a1 e memória a2 ilustrados na figura 40.

[00291] O processador a1 é o conjunto de circuitos que realiza o processamento de informação e é acessível à memória a2. Por exem- plo, o processador a1 é um conjunto de circuitos eletrônicos dedicado ou geral que codifica um vídeo. O processador a1 pode ser um pro- cessador, tal como uma CPU. Adicionalmente, o processador a1 pode ser um agregado de uma pluralidade de circuitos eletrônicos. Adicio- nalmente, por exemplo, o processador a1 pode assumir os papeis de dois ou mais elementos constituintes, a partir da pluralidade de ele- mentos constituintes do codificador 100 ilustrado na figura 1, etc.

[00292] A memória a2 é uma memória dedicada ou geral para ar- mazenar informação que é utilizada pelo processador a1 para codificar um vídeo. A memória a2 pode ser um conjunto de circuitos eletrônicos, e pode ser conectada a um processador a1. Adicionalmente, a memó-

ria a2 pode ser incluída no processador a1. Adicionalmente, a memó- ria a2 pode ser um agregado de uma pluralidade de circuitos eletrôni- cos. Adicionalmente, a memória a2 pode ser um disco magnético, um disco ótico, ou similar, ou pode ser representada como um armazena- dor, um meio de gravação, ou similares. Adicionalmente, a memória a2 pode ser a memória não volátil, ou memória volátil.

[00293] Por exemplo, a memória a2 pode armazenar um vídeo a ser codificado ou uma sequência de bits correspondendo a um vídeo codificado. Adicionalmente, a memória a2 pode armazenar um pro- grama para fazer com que o processador a1 codifique um vídeo.

[00294] — Adicionalmente, por exemplo, a memória a2 pode assumir os papeis de dois ou mais elementos constituintes para armazenar in- formação a partir da pluralidade de elementos constituintes do codifi- cador 100 ilustrado na figura 1, etc. Por exemplo, a memória a2 pode assumir os papeis da memória de bloco 118 e memória de quadro 122 ilustradas na figura 1. Mais especificamente, a memória a2 pode ar- mazenar um bloco reconstruído, uma imagem reconstruída, etc.

[00295] “Deve-se notar que, no codificador 100, toda pluralidade de elementos constituintes indicados na figura 1, etc. pode não ser imple- mentada, e todos os processos descritos acima podem não ser reali- zados. Parte dos elementos constituintes indicados na figura 1, etc. pode ser incluída em outro dispositivo, ou parte dos processos descri- tos acima pode ser realizada por outro dispositivo. Decodificador

[00296] A seguir, um decodificador capaz de decodificar uma saída de sinal codificado (sequência de bits codificados), por exemplo, a par- tir do codificador 100 descrito acima, será descrito. A figura 41 é um diagrama em bloco ilustrando uma configuração funcional do decodifi- cador 200 de acordo com uma modalidade. O decodificador 200 é um decodificador de vídeo que decodifica um vídeo em unidades de um bloco.

[00297] Como ilustrado na figura 41, o decodificador 200 inclui o decodificador por entropia 202, o quantizador inverso 204, o transfor- mador inverso 206, somador 208, a memória de bloco 210, filtro de circuito 212, a memória de quadro 214, o intraprevisor 216, o interpre- visor 218 e o controlador de previsão 220.

[00298] O decodificador 200 é implementado como, por exemplo, um processador genérico e uma memória. Nesse caso, quando um programa de software armazenado na memória é executado pelo pro- cessador, o processador funciona como o decodificador por entropia 202, o quantizador inverso 204, o transformador inverso 206, o soma- dor 208, o filtro de circuito 212, o intraprevisor 216, o interprevisor 218 e o controlador de previsão 220. Alternativamente, o decodificador 200 pode ser implementado como um ou mais circuitos eletrônicos dedica- dos, correspondendo ao decodificador por entropia 202, quantizador inverso 204, transformador inverso 206, somador 208, filtro de circuito 212, intraprevisor 216, interprevisor 218 e controlador de previsão 220.

[00299] —“Doravante, um fluxo geral de processos realizados pelo de- codificador 200 é descrito, e, então, cada um dos elementos constituin- tes incluídos no decodificador 200 será descrito. Fluxo Geral do Processo de Decodificação

[00300] A figura 42 é um fluxograma ilustrando um exemplo de um processo de decodificação geral realizado pelo decodificador 200.

[00301] Primeiro, o decodificador por entropia 202 do decodificador 200 identifica um padrão de divisão de um bloco possuindo um tama- nho fixo (por exemplo, 128 x 128 pixels) (Etapa Sp 1). Esse padrão de divisão é um padrão de divisão selecionado pelo codificador 100. O decodificador 200, então, realiza os processos da Etapa Sp 2a Sp 6 para cada um dentre uma pluralidade de blocos do padrão de divisão.

[00302] Em outras palavras, o decodificador por entropia 202 deco-

difica (especificamente, decodifica por entropia) coeficientes quantiza- dos codificados e um parâmetro de previsão de um bloco atual a ser decodificado (também referido como um bloco atual) (Etapa Sp 2).

[00303] A seguir, o quantizador inverso 204 realiza a quantização inversa dentre a pluralidade de coeficientes quantizados e o transfor- mador inverso 206 realiza a transformação inversa do resultado, para restaurar uma pluralidade de residuais de previsão (isso é, um bloco de diferença) (Etapa Sp 3).

[00304] A seguir, o processador de previsão incluindo todo ou parte do intraprevisor 216, interprevisor 218, e controlador de previsão 220 gera um sinal de previsão (também referido como um bloco de previ- são) do bloco atual (Etapa Sp 4).

[00305] A seguir, o somador 208 adiciona o bloco de previsão ao bloco de diferença para gerar uma imagem reconstruída (também refe- rida como um bloco de imagem decodificada) do bloco atual (Etapa Sp 5).

[00306] “Quando a imagem reconstruída é gerada, o filtro de circuito 212 realiza a filtragem da imagem reconstruída (Etapa Sp 6).

[00307] O decodificador 200, então, determina se a decodificação de toda a imagem foi terminada (Etapa Sp 7). Quando da determina- ção de que a decodificação ainda não terminou (Não na Etapa Sp 7), o decodificador 200 executa repetidamente os processos começando com a Etapa Sp 1.

[00308] “Como ilustrado, os processos das Etapas Sp 1a Sp 7 são realizados sequencialmente pelo decodificador 200. Alternativamente, dois ou mais dos processos podem ser realizados em paralelo, a or- dem de processamento de dois ou mais dos processos pode ser modi- ficada, etc. Decodificador por Entropia

[00309] O decodificador por entropia 202 decodifica por entropia uma sequência de bits codificados. Mais especificamente, por exem- plo, o decodificador por entropia 202 decodifica aritmeticamente uma sequência de bits codificados em um sinal binário. O decodificador por entropia 202, então, desbinariza o sinal binário. Com isso, o decodifi- cador por entropia 202 envia os coeficientes quantizados de cada blo- co para o quantizador inverso 204. O decodificador por entropia 202 pode enviar um parâmetro de previsão incluído em uma sequência de bits codificados (ver figura 1) para o intraprevisor 216, interprevisor 218 e controlador de previsão 220. O intraprevisor 216, o interprevisor 218 e o controlador por previsão 220 em uma modalidade podem exe- cutar os mesmos processos de previsão que os realizados pelo intra- previsor 124, interprevisor 126 e controlador de previsão 128 no lado do codificador. Quantizador Inverso

[00310] O quantizador inverso 204 quantiza de forma inversa os coeficientes quantizados de um bloco a ser decodificado (doravante referido como um bloco atual), que são registrados a partir do decodifi- cador por entropia 202. Mais especificamente, o quantizador inverso 204 quantiza de forma inversa os coeficientes quantizados do bloco atual, com base nos parâmetros de quantização correspondentes aos coeficientes quantizados. O quantizador inverso 204, então, envia os coeficientes de transformação quantizados inversos do bloco atual pa- ra o transformador inverso 206. Transformador Inverso

[00311] O transformador inverso 206 restaura os erros de previsão pela transformação inversa dos coeficientes de transformação que são registrados a partir do quantizador inverso 204.

[00312] Por exemplo, quando a informação analisada a partir de uma sequência de bits codificados indica que EMT ou AMT deve ser aplicado (por exemplo, quando um indicador AMT é verdadeiro), o transformador inverso 206 transforma de forma inversa os coeficientes de transformação do bloco atual, com base na informação que indica o tipo de transformação analisado.

[00313] Ademais, por exemplo, quando a informação analisada a partir de uma sequência de bits codificados indica que NSST deve ser aplicado, o transformador inverso 206 aplica uma transformação inver- sa secundária aos coeficientes de transformação.

Somador

[00314] O somador 208 reconstrói o bloco atual pela adição de er- ros de previsão que são registrados a partir do transformador inverso 206 e amostras de previsão que são registradas a partir do controlador de previsão 220. O somador 208, então, envia o bloco reconstruído para a memória de bloco 210 e filtro de circuito 212.

Memória de Bloco

[00315] A memória de bloco 210 é o armazenador para armazenar os blocos em uma imagem a ser decodificada (doravante referida co- mo uma imagem atual) e a ser referida na intraprevisão. Mais especifi- camente, a memória de bloco 210 armazena os blocos reconstruídos enviados a partir do somador 208.

Filtro de Circuito

[00316] O ffiltrode circuito 212 aplica um filtro de circuito para blo- cos reconstruídos pelo somador 208, e envia os blocos reconstruídos filtrados para a memória de quadro 214, dispositivo de exibição, etc.

[00317] “Quando a informação indicando o LIGAR ou DESLIGAR de um ALF, analisada a partir de uma sequência de bits codificados, indi- ca que um ALF está LIGADO, um filtro dentre uma pluralidade de fil- tros é selecionado com base na direção e atividade dos gradientes lo- cais, e o filtro selecionado é aplicado ao bloco reconstruído.

Memória de Quadro

[00318] A memória de quadro 214 é, por exemplo, o armazenador para armazenar imagens de referência para uso na interprevisão, e também é referida como um armazenador de quadro. Mais especifi- camente, a memória de quadro 214 armazena um bloco reconstruído filtrado pelo filtro de circuito 212. Processador de Previsão (Intraprevisor, Interprevisor, Controlador de Previsão)

[00319] A figura 43 é um fluxograma ilustrando um exemplo de um processo realizado por um processador de previsão do decodificador

200. Deve-se notar que o processador de previsão inclui todos ou par- te dos elementos constituintes a seguir: intraprevisor 216; interprevisor 218; e controlador de previsão 220.

[00320] O processador de previsão gera uma imagem de previsão de um bloco atual (Etapa Sq 1). Essa imagem de previsão também é referida como um sinal de previsão ou um bloco de previsão. Deve-se notar que o sinal de previsão, por exemplo, é um sinal de intraprevisão ou um sinal de interprevisão. Especificamente, o processador de pre- visão gera a imagem de previsão do bloco atual, utilizando uma ima- gem reconstruída que já foi obtida através da geração de um bloco de previsão, geração de um bloco de diferença, geração de um bloco de coeficiente, restauração de um bloco de diferença, e geração de um bloco de imagem decodificado.

[00321] A imagem reconstruída pode ser, por exemplo, uma ima- gem em uma imagem de referência, ou uma imagem de um bloco de- codificado em uma imagem atual que é a imagem que inclui o bloco atual. O bloco decodificado na imagem atual é, por exemplo, um bloco vizinho do bloco atual.

[00322] A figura 44 é um fluxograma ilustrando outro exemplo de um processo realizado pelo processador de previsão do decodificador

200.

[00323] O processador de previsão determina um método ou um modo para a geração de uma imagem de previsão (Etapa Sr 1). Por exemplo, o método ou modo pode ser determinado com base, por exemplo, em um parâmetro de previsão, etc.

[00324] “Quando da determinação de um primeiro método como um modo de geração de uma imagem de previsão, o processador de pre- visão gera uma imagem de previsão de acordo com o primeiro método (Etapa Sr 2a). Quando da determinação de um segundo método como um modo para geração de uma imagem de previsão, o processador de previsão gera uma imagem de previsão de acordo com o segundo mé- todo (Etapa Sr 2b). Quando da determinação de um terceiro método como um modo de geração de uma imagem de previsão, o processa- dor de previsão gera uma imagem de previsão de acordo com o tercei- ro método (Etapa S 2c).

[00325] O primeiro método, o segundo método, e o terceiro método podem ser métodos mutuamente diferentes para gerar uma imagem de previsão. Cada um do primeiro ao terceiro métodos pode ser um método de interprevisão, um método de intraprevisão, ou outro método de previsão. A imagem reconstruída descrita acima pode ser utilizada nesses métodos de previsão. Intraprevisor

[00326] O intraprevisor 216 gera um sinal de previsão (sinal de in- traprevisão) pela realização da intraprevisão por referência a um bloco ou blocos na imagem atual armazenada na memória de bloco 210, com base no modo de intraprevisão analisado a partir da sequência de bits codificados. Mais especificamente, o intraprevisor 216 gera um sinal de intraprevisão pela realização da intraprevisão por referência às amostras (por exemplo, valores de luminescência e/ou crominância) de um bloco ou blocos vizinhos do bloco atual, e, então, envia o sinal de intraprevisão para o controlador de previsão 220.

[00327] Deve-se notar que quando um modo de intraprevisão, no qual um bloco de luminescência é referido na intraprevisão de um blo- co de crominância, é selecionado, o intraprevisor 216 pode prever o componente de crominância do bloco atual, com base no componente de luminescência do bloco atual.

[00328] Ademais, quando a informação analisada a partir de uma sequência de bits codificados indica que PDPC deve ser aplicado, o intraprevisor 216 corrige os valores de pixel intraprevistos nos gradien- tes de pixel de referência horizontal/vertical. Interprevisor

[00329] O interprevisor 218 prevê o bloco atual por referência a uma imagem de referência armazenada na memória de quadro 214. À interprevisão é realizada em unidades de um bloco atual ou um sub- bloco (por exemplo, um bloco de 4 x 4) no bloco atual. Por exemplo, o interprevisor 218 gera um sinal de interprevisão do bloco atual ou sub- bloco pela realização da compensação de movimento pela utilização da informação de movimento (por exemplo, um vetor de movimento), analisado a partir uma sequência de bits codificados (por exemplo, um parâmetro de previsão enviado a partir do decodificador por entropia 202), e envia o sinal de interprevisão para o controlador de previsão

220.

[00330] Deve-se notar que quando a informação analisada a partir da sequência de bits codificados indicar que o modo OBMC deve ser aplicado, o interprevisor 218 gera o sinal de interprevisão utilizando a informação de movimento de um bloco vizinho em adição à informação de movimento do bloco atual, obtida a partir da estimativa de movi- mento.

[00331] Ademais, quando a informação analisada a partir da se- quência de bits codificados indicar que o modo FRUC deve ser aplica- do, o interprevisor 218 deriva a informação de movimento pela realiza- ção da estimativa de movimento, de acordo com o método de combi-

nação de padrão (combinação bilateral ou combinação de gabarito) analisada a partir da sequência de bits codificados. O interprevisor 218, então, realiza a compensação de movimento (previsão) utilizando a informação de movimento derivada.

[00332] Ademais, quando o modo BIO deve ser aplicado, o inter- previsor 218 deriva um vetor de movimento com base em um modelo que assume o movimento linear uniforme. Ademais, quando a infor- mação analisada a partir da sequência de bits codificados indicar que o modo de previsão de compensação de movimento afim deve ser aplicado, o interprevisor 218 deriva um vetor de movimento de cada sub-bloco com base nos vetores de movimento dos blocos vizinhos. Derivação de MV > Intermodo Normal

[00333] “Quando a informação analisada a partir de uma sequência de bits codificados indicar que o intermodo normal deve ser aplicado, o interprevisor 218 deriva um MV com base na informação analisada a partir da sequência de bits codificados e realiza a compensação de movimento (previsão) utilizando MV.

[00334] A figura 45 é um fluxograma ilustrando um exemplo de in- terprevisão no intermodo normal no decodificador 200.

[00335] O interprevisor 218 do decodificador 200 realiza a compen- sação de movimento para cada bloco. O interprevisor 218 obtém uma pluralidade de candidatos a MV para um bloco atual com base na in- formação, tal como MVs de uma pluralidade de blocos decodificados que cercam, de forma temporal ou espacial, o bloco atual (Etapa Ss 1). Em outras palavras, o interprevisor 218 gera uma lista de can- didatos a MV.

[00336] A seguir, o interprevisor 218 extrai N (um inteiro igual a ou superior a 2) candidatos a MV da pluralidade de candidatos a MV obti- dos na Etapa Ss 1, como os candidatos a previsor de vetor de movi- mento (também referidos como candidatos a previsor de MV), de acordo com uma ordem de prioridade determinada (Etapa Ss 2). De- ve-se notar que a ordem de prioridade pode ser determinada anteci- padamente para cada um dos N candidatos a previsor de MV.

[00337] A seguir, o interprevisor 218 decodifica a informação de se- leção de previsor de vetor de movimento, a partir de uma sequência de entrada (isso é, uma sequência de bits codificados), e seleciona um candidato a previsor de MV a partir dos N candidatos a previsor de MV, utilizando a informação de seleção de previsor de vetor de movi- mento decodificado, como um vetor de movimento (também referido como um previsor de MV) do bloco atual (Etapa Ss 3).

[00338] A seguir, o interprevisor 218 decodifica uma diferença de MV a partir da sequência de entrada, e deriva um MV para um bloco atual pela adição de um valor de diferença, que é a diferença de MV decodificada, e um previsor de vetor de movimento selecionado (Etapa Ss 4).

[00339] Por fim, o interprevisor 218 gera uma imagem de previsão para o bloco atual pela realização da compensação de movimento do bloco atual utilizando o MV derivado e a imagem de referência decodi- ficada (Etapa Ss 5). Controlador de Previsão

[00340] O controlador de previsão 220 seleciona o sinal de intrapre- visão ou o sinal de interprevisão, e envia o sinal de previsão selecio- nado para o somador 208. Como um todo, as configurações, funções e processos do controlador de previsão 220, do intraprevisor 216, e do interprevisor 218 no lado do decodificador podem corresponder às configurações, funções e processos do controlador de previsão 128, do intraprevisor 124 e do interprevisor 126 no lado do codificador. Exemplo de Montagem do Decodificador

[00341] A figura 46 é um diagrama em bloco ilustrando um exemplo de montagem do decodificador 200. O decodificador 200 inclui o pro-

cessador b1 e a memória b2. Por exemplo, a pluralidade de elementos constituintes do decodificador 200, ilustrado na figura 41, são monta- dos no processador b1 e na memória b2 ilustrados na figura 46.

[00342] O processador bi é o conjunto de circuitos que realiza o processamento de informação e é acessível à memória b2. Por exem- plo, o processador b1 é um conjunto de circuitos eletrônicos dedica- dos, ou gerais, que decodifica um vídeo (isso é, uma sequência de bits codificados). O processador b1 pode ser um processador tal como uma CPU. Adicionalmente, o processador b1 pode ser um agregado de uma pluralidade de circuitos eletrônicos. Adicionalmente, por exemplo, o processador b1 pode assumir os papeis de dois ou mais elementos constituintes, a partir da pluralidade de elementos consti- tuintes do decodificador 200 ilustrado na figura 41, etc.

[00343] A memória b2 é uma memória dedicada, ou geral, para ar- mazenar informação que é utilizada pelo processador b1 para decodi- ficar uma sequência de bits codificados. A memória b2 pode ser um conjunto de circuitos eletrônicos, e pode ser conectada ao processador b1. Adicionalmente, a memória b2 pode ser incluída no processador b1. Adicionalmente, a memória b2 pode ser um agregado de uma plu- ralidade de circuitos eletrônicos. Adicionalmente, a memória b2 pode ser um disco magnético, um disco ótico, ou similares, ou pode ser re- presentada como um armazenador, um meio de gravação, ou simila- res. Adicionalmente, a memória b2 pode ser uma memória não volátil, ou uma memória volátil.

[00344] Por exemplo, a memória b2 pode armazenar um vídeo ou uma sequência de bits. Adicionalmente, a memória b2 pode armaze- nar um programa para fazer com que o processador b1 decodifique uma sequência de bits codificados.

[00345] — Adicionalmente, por exemplo, a memória b2 pode assumir os papeis de dois ou mais elementos constituintes para armazenar in-

formação a partir da pluralidade de elementos constituintes do decodi- ficador 200 ilustrado na figura 41, etc. Especificamente, a memória b2 pode assumir os papeis da memória de bloco 210 e memória de qua- dro 214 ilustrados na figura 41. Mais especificamente, a memória b2 pode armazenar um bloco reconstruído, uma imagem reconstruída, etc.

[00346] Deve ser notado que, no decodificador 200, toda a plurali- dade de elementos constituintes ilustrados na figura 41, etc. pode não ser implementada, e todos os processos descritos acima podem não ser realizados. Parte dos elementos constituintes indicados na figura 41, etc. pode ser incluída em outro dispositivo, ou parte dos processos descritos acima podem ser realizados por outro dispositivo. Definição de Termos

[00347] Os termos respectivos podem ser definidos como indicado abaixo como exemplos.

[00348] Uma imagem é um conjunto de amostras de luminescência no formato monocromático ou um conjunto de amostras de lumines- cência e dois conjuntos correspondentes de amostras de crominância no formato de cores 4:2:0, 4:2:2 e 4:4:4. Uma imagem pode ser um quadro ou um campo.

[00349] Um quadro é a composição de um campo superior e um campo inferior, em que fileiras de amostras 0, 2, 4,... se originam a partir do campo superior e fileiras de amostras 1, 3, 5,... se originam a partir do campo inferior.

[00350] Uma fatia é um número inteiro de unidades de árvore de codificação contidas em um segmento de fatia independente e todos os segmentos de fatia dependentes subsequentes (se algum), que precedem o próximo segmento de fatia independente (se algum), den- tro da mesma unidade de acesso.

[00351] Um “tile” é uma região retangular dos blocos de árvore de codificação dentro de uma coluna de “tile” em particular, e uma fileira de “tile” particular em uma imagem. Um “tile” pode ser uma região re- tangular do quadro, que tem por objetivo poder ser decodificada e co- dificada independentemente, apesar de a filtragem de circuito através das bordas do “tile” ainda poderem ser aplicadas.

[00352] — Um bloco é um conjunto M x N (M colunas por N fileiras) de amostras, ou um conjunto de M x N coeficientes de transformação. Um bloco pode ser uma região quadrada ou retangular de pixels, incluindo uma matriz de Luminescência e duas matrizes de Crominância.

[00353] Uma unidade de árvore de codificação (CTU) pode ser um bloco de árvore de codificação de amostras de luminescência de uma imagem que possui três conjuntos de amostras, ou dois blocos de ár- vore de codificação correspondentes de amostras de crominância. Al- ternativamente, uma CTU pode ser um bloco de árvore de codificação de amostras de uma dentre uma imagem monocromática e uma ima- gem que é codificada utilizando três planos de cores separados e es- truturas de sintaxe utilizadas para codificar as amostras.

[00354] Um superbloco pode ser um bloco quadrado de 64 x 64 pixels que consiste em 1 ou 2 blocos de informação de modo ou é di- vidido de forma recursiva em quatro blocos de 32 x 32, que podem, eles mesmos, ser divididos adicionalmente. Exemplo Específico do Processo de Determinação do Filtro de Interpo- lação

[00355] A seguir, um exemplo específico de um processo para de- terminar um filtro de interpolação, de acordo com uma modalidade, será descrito com referência às figuras de 47 a 50. A figura 47 é um fluxograma ilustrando um exemplo do processo para determinar o filtro de interpolação de acordo com a modalidade. Mais especificamente, como ilustrado, por exemplo, na figura 15, o processador de previsão determina o vetor de movimento (MV) do bloco atual, e realiza a com-

pensação de movimento com base no MV, determinado para gerar a imagem de previsão. Na compensação de movimento, primeiramente, a primeira imagem de previsão, com uma precisão de pixel total, é ge- rada com base no MV, e a segunda imagem de previsão é gerada uti- lizando o filtro de interpolação, pela interpolação de um valor em uma posição de pixel fracionado entre as posições de pixel total incluídas na primeira imagem de previsão. Em outras palavras, o processo de determinação do filtro de interpolação é incluído na compensação de movimento.

[00356] Na etapa S1001, o interprevisor 126/128 julga se o tama- nho do bloco atual a ser codificado/decodificado é maior do que o ta- manho limite. Um exemplo do tamanho limite é de 4 x 4 pixels. Nesse caso, quando o tamanho do bloco atual a ser codificado/decodificado for de 4 x 4 pixels, o interprevisor 126/218 julga que o tamanho do blo- co atual a ser codificado/decodificado não é maior do que o tamanho limite. Por outro lado, quando o tamanho do bloco atual a ser codifica- do/decodificado é maior do que 4 x 4 pixels, o interprevisor 126/218 julga que o tamanho do bloco atual a ser codificado/decodificado é maior do que o tamanho limite.

[00357] Na etapa S1002, quando o tamanho do bloco atual a ser codificado/decodificado é considerado maior do que o tamanho limite (Sim, em S1001X), o interprevisor 126/218 determina o filtro de inter- polação para uso na compensação de movimento do bloco atual a ser codificado/decodificado como sendo o primeiro filtro de interpolação. Por exemplo, como ilustrado na figura 48, o filtro de interpolação de 8 saídas pode ser utilizado como o primeiro filtro de interpolação.

[00358] A figura 48 é um diagrama ilustrando um exemplo do pri- meiro filtro de interpolação de acordo com a modalidade. Mais especi- ficamente, os coeficientes de filtro de interpolação de 8 saídas para cada uma das precisões de vetor de movimento de 1/16 (posições de amostra fracionada) são ilustrados como o primeiro filtro de interpola- ção. Por exemplo, quando a precisão de vetor de movimento é de "8/16", (-1, 4, -11, 40, 40, -11, 4, -1) são utilizados como os coeficien- tes de filtro de interpolação de 8 saídas.

[00359] Na etapa S1003, quando o tamanho do bloco atual a ser codificado/decodificado não é considerado superior ao tamanho limite (Não, em S1001X), o interprevisor 126/218 determina o filtro de inter- polação para uso na compensação de movimento do bloco atual a ser codificado/decodificado como sendo o segundo filtro de interpolação. Aqui, o segundo filtro de interpolação possui menos saídas do que o primeiro filtro de interpolação. Em outras palavras, o número total de saídas do segundo filtro de interpolação é inferior ao do primeiro filtro de interpolação. Por exemplo, como ilustrado na figura 49, o filtro de interpolação de 6 saídas pode ser utilizado como o segundo filtro de interpolação.

[00360] A figura 49 é um diagrama ilustrando um exemplo do se- gundo filtro de interpolação de acordo com a modalidade. Mais especi- ficamente, os coeficientes de filtro de interpolação de 6 saídas para cada uma das precisões de vetor de movimento de 1/16 (posições de amostra fracionada) são ilustradas como o segundo filtro de interpola- ção. Por exemplo, quando a precisão do vetor de movimento é de "8/16", (3, -11, 40, 40, -11, 3) são utilizados como os coeficientes de filtro de interpolação de 6 saídas.

[00361] Na etapa S1004, o bloco atual a ser codificado/decodificado é codificado/decodificado utilizando o filtro de interpolação determina- do. Mais especificamente, o interprevisor 126/218 gera um sinal de interprevisão para o bloco atual a ser codificado/decodificado pela rea- lização da compensação de movimento no bloco atual a ser codifica- do/decodificado, utilizando o filtro de interpolação determinado. O sinal de interprevisão gerado é enviado para o controlador de previsão

128/220, como descrito acima.

[00362] Como descrito acima, na presente modalidade, o filtro de interpolação é comutado entre o primeiro filtro de interpolação e o se- gundo filtro de interpolação diferente, em número total de saídas, do primeiro filtro de interpolação, dependendo do tamanho do bloco atual a ser codificado/decodificado.

[00363] Deve-se notar que o bloco atual a ser codificado/decodifi- cado é suficiente para ser um bloco no qual a compensação de movi- mento é realizada, e não é particularmente limitado. Por exemplo, um sub-bloco do modo afim pode ser utilizado como o bloco atual a ser codificado/decodificado. Em se fazendo isso, o tamanho limite pode ser de 4 x 4 pixels, por exemplo.

[00364] A figura 50 é um diagrama ilustrando um exemplo de um bloco no qual o filtro de interpolação determinado é aplicado, de acor- do com a modalidade. Na figura 50, por exemplo, o filtro de interpola- ção é aplicado a cada oito dos sub-blocos de 4 x 4 pixels obtidos pela divisão de um bloco de pixel de 16 x 8 em oito sub-blocos. Efeito Técnico da Modalidade

[00365] A presente descrição introduz um processo para determinar um filtro de interpolação adaptativo de tamanho, para a interprevisão. Esse processo reduz a largura de banda de memória no pior caso de interprevisão, e também reduz a complexidade no pior caso em termos de um número total de operações para a compensação de movimento afim.

[00366] “Quando a compensação de movimento é realizada em uma base de bloco menor, o número de vezes em que a compensação de movimento é realizada aumenta, e o número de vezes em que as amostras são lidas a partir da memória, para realizar a compensação de movimento, também aumenta. Por outro lado, quando o número total de saídas do filtro de interpolação diminui, o número total de amostras lidas a partir da memória, para a realização do processo de interpolação, diminui. De acordo, o filtro de interpolação, possuindo menos saídas para o bloco menor, é utilizado para reduzir o número total de amostras por leitura, e, dessa forma, é possível se suprimir um aumento na largura de banda de memória, mesmo quando o número de vezes em que as amostras são lidas aumenta. Ademais, o segundo filtro de interpolação é aplicado a um sub-bloco do modo afim, e, des- sa forma, é possível se reduzir a carga de processamento da compen- sação de movimento afim, possuindo uma carga de processamento relativamente alta.

[00367] Um ou mais dos aspectos descritos aqui podem ser reali- zados pela combinação de pelo menos parte de outros aspectos na presente descrição. Adicionalmente, um ou mais dos aspectos descri- tos aqui podem ser realizados pela combinação, com outros aspectos, de parte dos processos indicados em qualquer um dos fluxogramas, de acordo com os aspectos, parte da configuração de qualquer um dos dispositivos, parte das sintaxes, etc. Implementações e Aplicações

[00368] Como descrito em cada uma das modalidades acima, cada bloco funcional ou operacional pode, tipicamente, ser realizado como uma MPU (unidade de microprocessamento) e memória, por exemplo. Ademais, os processos realizados por cada um dos blocos funcionais podem ser realizados como uma unidade de execução de programa, tal como um processador que lê e executa software (um programa) gravado em um meio de gravação, tal como ROM. O software pode ser distribuído. O software pode ser gravado em uma variedade de meios de gravação, tal como a memória semicondutora. Note-se que cada bloco funcional também pode ser realizado como hardware (cir- cuito dedicado). Várias combinações de hardware e software podem ser empregadas.

[00369] O processamento descrito em cada uma das modalidades pode ser realizado através do processamento integrado, utilizando um único aparelho (sistema), e, alternativamente, pode ser realizado atra- vés do processamento descentralizado, utilizando uma pluralidade de aparelhos. Ademais, o processador que executa o programa descrito acima pode ser um processador único ou uma pluralidade de proces- sadores. Em outras palavras, o processamento integrado pode ser realizado e, alternativamente, o processamento descentralizado pode ser realizado.

[00370] As modalidades da presente descrição não estão limitadas às modalidades ilustrativas acima; várias modificações podem ser rea- lizadas nas modalidades ilustrativas, os resultados das quais também são incluídos no escopo das modalidades da presente descrição.

[00371] A seguir, exemplos de aplicação do método de codificação de imagem em movimento (método de codificação de imagem) e o mé- todo de decodificação de imagem em movimento (método de decodifica- ção de imagem) descritos em cada uma das modalidades acima serão descritos, além de vários sistemas que implementam os exemplos de aplicação. Tal sistema pode ser caracterizado como incluindo um codifi- cador de imagem que emprega o método de codificação de imagem, um decodificador de imagem que emprega o método de decodificação de imagem, ou um codificador-decodificador de imagem que inclui ambos o codificador de imagem e o decodificador de imagem. Outras configu- rações de tal sistema podem ser modificadas caso a caso. Exemplos de Utilização

[00372] A figura 51 ilustra uma configuração geral do sistema de fornecimento de conteúdo ex100 adequado para se implementar um serviço de distribuição de conteúdo. A área na qual o serviço de co- municação é fornecido é dividida em células de tamanhos desejados, e estações base ex106, ex107, ex108, ex109 e ex110, que são esta-

ções sem fio fixas no exemplo ilustrado são localizadas em células respectivas.

[00373] No sistema de fornecimento de conteúdo ex100, os disposi- tivos incluindo o computador ex111, o dispositivo de jogos ex112, a câmera ex113, o eletrodoméstico ex114, e o smartphone ex115 são conectados à Internet ex101, através do provedor de serviço de Inter- net ex102 ou rede de comunicações ex104 e estações base ex106 a ex110. O sistema de fornecimento de conteúdo ex100 pode combinar e conectar qualquer combinação dos dispositivos acima. Em várias implementações, os dispositivos podem ser diretamente ou indireta- mente conectados através de uma rede telefônica ou comunicação de campo próximo, em vez de através das estações base ex106 a ex110. Adicionalmente, o servidor de transmissão ex103 pode ser conectado aos dispositivos incluindo o computador ex111, dispositivo de jogos ex112, câmera ex113, eletrodoméstico ex114, e smartphone ex115 através, por exemplo, da Internet ex101. O servidor de transmissão ex103 também pode ser conectado, por exemplo, a um terminal em um hotspot na aeronave ex117 através do satélite ex116.

[00374] Note-se que em vez das estações base ex106 a ex110, pontos de acesso sem fio ou hotspots podem ser utilizados. O servidor de transmissão ex103 pode ser conectado à rede de comunicações ex104 diretamente, em vez de através da Internet ex101 ou do prove- dor de serviço de Internet ex102, e pode ser conectado à aeronave ex117 diretamente, em vez de através do satélite ex116.

[00375] A câmera ex113 é um dispositivo capaz de capturar ima- gens estáticas e vídeo, tal como uma câmera digital. O smartphone ex115 é um dispositivo smartphone, telefone celular, ou telefone do sistema de “handy-phone” pessoal (PHS) que pode operar sob os pa- drões do sistema de comunicações móveis dos sistemas 2G, 3G, 3,9G e 4G, além do sistema 5G de próxima geração.

[00376] O eletrodoméstico ex114 é, por exemplo, um refrigerador ou um dispositivo incluído em um sistema de geração conjunta da cé- lula de combustível doméstico.

[00377] No sistema de fornecimento de conteúdo ex100, um termi- nal incluindo uma função de captura de imagem e/ou vídeo é capaz, por exemplo, de transmitir ao vivo, por meio da conexão com o servi- dor de transmissão ex103 através, por exemplo, da estação base ex106. Durante a transmissão ao vivo, um terminal (por exemplo, o computador ex111, o dispositivo de jogos ex112, a câmera ex113, o eletrodoméstico ex114, o smartphone ex115 ou um terminal na aero- nave ex117) pode realizar o processamento de codificação descrito nas modalidades acima no conteúdo de imagem estática ou vídeo cap- turado por um usuário através do terminal, pode multiplexar dados de vídeo obtidos através da codificação de dados de áudio obtidos pela codificação do áudio que corresponde ao vídeo, e pode transmitir os dados obtidos para o servidor de transmissão ex103. Em outras pala- vras, o terminal funciona como codificador de imagem de acordo com um aspecto da presente descrição.

[00378] O servidor de transmissão ex103 sequencia os dados de conteúdo transmitidos para os clientes que solicitam a transmissão. Os exemplos de cliente incluem o computador ex111, o dispositivo de jo- gos ex112, a câmera ex113, o eletrodoméstico ex114, o smartphone ex115 e terminais dentro da aeronave ex117, que podem decodificar os dados codificados descritos acima. Os dispositivos que recebem os dados transmitidos podem decodificar e reproduzir os dados recebi- dos. Em outras palavras, os dispositivos podem funcionar, cada um, como o decodificador de imagem, de acordo com um aspecto da pre- sente descrição. Processamento Descentralizado

[00379] O servidor de transmissão ex103 pode ser realizado como uma pluralidade de servidores ou computadores entre os quais as ta- refas, tal como processamento, gravação e transmissão de dados são divididas. Por exemplo, o servidor de transmissão ex103 pode ser rea- lizado como uma rede de distribuição de conteúdo (CDN) que transmi- te conteúdo através de uma rede que conecta múltiplos servidores de borda localizados por todo o mundo. Em uma CDN, um servidor de borda fisicamente próximo do cliente pode ser designado dinamica- mente para o cliente. O conteúdo é armazenado temporariamente e transmitido para o servidor de borda para reduzir os tempos de carga. No caso, por exemplo, de algum tipo de erro ou mudança na conecti- vidade devido, por exemplo, a um pico no tráfego, é possível se transmitir dados de forma estável em altas velocidades, visto que é possível se evitar as partes afetadas da rede, por exemplo, pela divi- são do processamento entre uma pluralidade de servidores de borda, ou comutação de tarefas de transmissão para um servidor de borda diferente e continuação da transmissão.

[00380] A descentralização não está limitada apenas à divisão de processamento para transmissão; a codificação de dados capturados pode ser dividida entre e realizada pelos terminais, no lado do servi- dor, ou ambos. Em um exemplo, na codificação típica, o processamen- to é realizado em dois circuitos. O primeiro circuito serve para detectar o quão complicado a imagem é, quadro por quadro, ou cena por cena, ou detectar a carga de codificação. O segundo circuito serve para o processamento que mantém a qualidade de imagem e aperfeiçoa a eficiência de codificação. Por exemplo, é possível se reduzir a carga de processamento dos terminais e aperfeiçoar a qualidade e eficiência de codificação do conteúdo, fazendo com que os terminais realizem o primeiro circuito da codificação e com que o lado de servidor que re- cebeu o conteúdo realize o segundo circuito de codificação. Em tal ca- so, mediante o recebimento de uma solicitação de decodificação, é possível que os dados codificados resultantes do primeiro circuito rea- lizado por um terminal sejam recebidos e reproduzidos em outro termi- nal em tempo aproximadamente real. Isso possibilita a realização de transmissão suave em tempo real.

[00381] Em outro exemplo, a câmera ex113 ou similares extrai uma quantidade de característica (uma quantidade de características) de uma imagem, comprime dados relacionados à quantidade característi- ca de metadados, e transmite os metadados comprimidos para um servidor. Por exemplo, o servidor determina a significância de um obje- to com base na quantidade de característica e muda a precisão de quantização de acordo para realizar a compressão adequada para o significado (ou significância de conteúdo) da imagem. Os dados de quantidade de característica são particularmente eficientes no aperfei- çoamento da precisão e eficiência da previsão de vetor de movimento, durante a segunda passagem de compressão realizada pelo servidor. Ademais, a codificação que possui uma carga de processamento rela- tivamente baixa, tal como a codificação de comprimento variável (VLC), pode ser manuseada pelo terminal, e a codificação que possui uma carga de processamento relativamente alta, tal como a codifica- ção aritmética binária adaptativa de contexto (CABAC), pode ser ma- nuseada pelo servidor.

[00382] Em ainda outro exemplo, existem casos nos quais uma plu- ralidade de vídeos aproximadamente da mesma cena é capturada por uma pluralidade de terminais, por exemplo, em um estádio, shopping center ou fábrica. Em tal caso, por exemplo, a codificação pode ser descentralizada pela divisão de tarefas de processamento entre a plu- ralidade de terminais que capturaram os vídeos e, se necessário, ou- tros terminais que não capturaram os vídeos, e o servidor, com base em unidade. As unidades podem ser, por exemplo, grupos de imagens (GOP), imagens, ou “tiles” resultantes da divisão de uma imagem. Isso possibilita a redução de tempos de carga e a obtenção da transmissão que está mais próxima do tempo real.

[00383] Visto que os vídeos são aproximadamente da mesma cena, o gerenciamento e/ou instruções podem ser realizados pelo servidor, de modo que os vídeos capturados pelos terminais possam ter refe- rência cruzada. Ademais, o servidor pode receber dados codificados dos terminais, alterar a relação de referência entre os itens de dados, ou corrigir ou substituir imagens propriamente ditas e, então, realizar a codificação. Isso possibilita a geração de uma transmissão com quali- dade e eficiência aumentadas para itens individuais de dados.

[00384] — Adicionalmente, o servidor pode transmitir dados de vídeo depois da realização da transcodificação para converter o formato de codificação dos dados de vídeo. Por exemplo, o servidor pode conver- ter o formato de codificação de MPEG para VP (por exemplo, VP9), pode converter H.264 em H.265, etc.

[00385] “Dessa forma, a codificação pode ser realizada por um ter- minal ou um ou mais servidores. De acordo, apesar de o dispositivo que realiza a codificação ser referido como um "servidor" ou "terminal" na descrição a seguir, alguns ou todos os processos realizados pelo servidor podem ser realizados pelo terminal, e, da mesma forma, al- guns ou todos os processos realizados pelo terminal, podem ser reali- zados pelo servidor. Isso também se aplica aos processos de decodifi- cação. 3D, Múltiplos Ângulos

[00386] Tem havido um aumento na utilização de imagens ou ví- deos combinados a partir de imagens ou vídeos de cenas diferentes, capturadas simultaneamente, ou da mesma cena capturada a partir de ângulos diferentes, por uma pluralidade de terminais, tal como a câme- ra ex113 e/ou smartphone ex115. Os vídeos capturados pelos termi- nais podem ser combinados com base, por exemplo, na relação de posição relativa obtida separadamente entre os terminais, ou regiões em um vídeo, possuindo pontos de característica coincidentes.

[00387] Em adição à codificação de imagens em movimento bidi- mensionais, o servidor pode codificar uma imagem estática com base na análise de cena de uma imagem em movimento, automaticamente ou em um momento especificado pelo usuário, e transmitir a imagem estática codificada para um terminal de recepção. Adicionalmente, quando o servidor pode obter a relação de posição relativa entre os terminais de captura de vídeo, em adição às imagens em movimento bidimensionais, o servidor pode gerar a geometria tridimensional de uma cena com base em vídeo da mesma cena capturada a partir de ângulos diferentes. O servidor pode codificar, separadamente, dados tridimensionais gerados a partir, por exemplo, de uma nuvem de pon- tos e, com base em um resultado do reconhecimento ou rastreamento de uma pessoa ou objeto utilizando dados tridimensionais, pode sele- cionar ou reconstruir e gerar um vídeo a ser transmitido para um ter- minal de recepção, a partir dos vídeos capturados por uma pluralidade de terminais.

[00388] Isso permite que o usuário aproveite uma cena pela sele- ção livre de vídeos correspondentes aos terminais de captura de ví- deo, e permite que o usuário aproveite o conteúdo obtido pela extra- ção de um vídeo em um ponto de vista selecionado a partir dos dados tridimensionais reconstruídos a partir de uma pluralidade de imagens ou vídeos. Adicionalmente, como com o vídeo, o som pode ser grava- do a partir de ângulos relativamente diferentes, e o servidor pode mul- tiplexar o áudio a partir de um ângulo ou espaço específico com o ví- deo correspondente, e transmitir o vídeo e áudio multiplexados.

[00389] Recentemente, o conteúdo que é um composto do mundo real e de um mundo virtual, tal como o conteúdo de realidade virtual (VR) e de realidade aumentada (AR), também tem se tornado popular.

No caso de imagens VR, o servidor pode criar imagens a partir dos pontos de vista de ambos os olhos, esquerdo e direito, e realizar a co- dificação que tolera a referência entre imagens de dois pontos de vis- ta, tal como a codificação de múltiplas visualizações (MVC), alternati- vamente, pode codificar as imagens como sequências separadas sem referência. Quando as imagens são decodificadas como sequências separadas, as sequências podem ser sincronizadas quando reprodu- zidas, de modo a recriar um espaço tridimensional virtual de acordo com o ponto de vista do usuário.

[00390] No caso de imagens AR, o servidor pode sobrepor a infor- mação do objeto virtual existente em um espaço virtual à informação de câmera que representa um espaço no mundo real, com base em uma posição tridimensional ou movimento da perspectiva do usuário. O decodificador pode obter ou armazenar informação de objeto virtual e dados tridimensionais, gerar imagens bidimensionais com base no movimento da perspectiva do usuário, e, então, gerar dados sobrepos- tos pela conexão contínua das imagens. Alternativamente, o decodifi- cador pode transmitir, para o servidor, o movimento da perspectiva do usuário em adição a uma solicitação por informação de objeto virtual. O servidor pode gerar dados sobrepostos com base nos dados tridi- mensionais armazenados no servidor de acordo com o movimento re- cebido, e codificar e transmitir os dados sobrepostos gerados para o decodificador. Note-se que os dados sobrepostos incluem tipicamente, em adição aos valores RGB, um valor a indicando transparência, e o servidor configura o valor a. para seções além do objeto gerado a partir dos dados tridimensionais para, por exemplo, 0, e pode realizar a codi- ficação enquanto essas seções estão transparentes. Alternativamente, o servidor pode configurar o fundo para um valor RGB determinado, tal como uma chave de crominância, e gerar dados em cujas áreas, além do objeto, são configurados como fundo. O valor RGB determinado pode ser predeterminado.

[00391] A decodificação de dados transmitidos de forma similar po- de ser realizada pelo cliente (por exemplo, os terminais), no lado do servidor, ou divididos entre os mesmos. Em um exemplo, um terminal pode transmitir uma solicitação de recepção para um servidor, o con- teúdo solicitado pode ser recebido e decodificado por outro terminal, e um sinal decodificado pode ser transmitido para um dispositivo pos- suindo um monitor. É possível se reproduzir os dados de alta qualida- de de imagem pelo processamento de descentralização e pela seleção adequada de conteúdo, independentemente da capacidade de proces- samento do terminal de comunicações propriamente dito. Em outro exemplo, enquanto uma TV, por exemplo, está recebendo dados de imagem que são grandes em tamanho, uma região de uma imagem, tal como um “tile” obtido pela divisão da imagem, pode ser decodifica- da e exibida em um terminal pessoal ou terminais de um espectador ou espectadores da TV. Isso possibilita que os espectadores comparti- lhem uma visão de imagem grande, além de cada espectador verificar sua área designada, ou inspecionar uma região em maiores detalhes.

[00392] Em situações nas quais uma pluralidade de conexões sem fio é possível através de distâncias curtas, intermediárias e longas, in- ternamente ou externamente, pode ser possível se receber continua- mente conteúdo, utilizando um padrão de sistema de transmissão, tal como MPEG-DASH. O usuário pode comutar entre dados em tempo real enquanto seleciona livremente um decodificador ou aparelho de exibição incluindo o terminal do usuário, monitores dispostos interna- mente ou externamente, etc. Ademais, utilizando-se, por exemplo, a informação sobre a posição do usuário, a decodificação pode ser reali- zada enquanto se determina qual terminal manuseia a decodificação e qual terminal manuseia a exibição do conteúdo. Isso possibilita o ma- peamento e exibição de informação, enquanto o usuário está em mo-

vimento a caminho de um destino, na parede de um edifício próximo no qual um dispositivo capaz de exibir conteúdo está embutido, ou em parte do chão. Ademais, também é possível se comutar a taxa de bit dos dados recebidos com base na acessibilidade aos dados codifica- dos em uma rede, tal como quando os dados codificados são armaze- nados temporariamente em um servidor rapidamente acessível a partir do terminal de recepção, ou quando os dados codificados são copia- dos a um servidor de borda em um serviço de distribuição de conteú- do.

Codificação Escalonável

[00393] A comutação de conteúdo será descrita com referência a uma sequência escalonável ilustrada na figura 52, que é codificada por compressão através da implementação do método de codificação de imagem em movimento descrito nas modalidades acima. O servidor pode possuir uma configuração na qual o conteúdo é comutado en- quanto faz uso da capacidade de escalonamento temporal e/ou espa- cial de uma sequência, que é alcançado pela divisão em e codificação de camadas, como ilustrado na figura 52. Note-se que pode haver uma pluralidade de sequências individuais que são do mesmo conteúdo, mas de qualidade diferente. Em outras palavras, pela determinação de que camada decodificar, com base em fatores internos, tal como a ca- pacidade de processamento no lado do decodificador, e em fatores externos, tal como a largura de banda de comunicação, o lado do de- codificador pode comutar livremente entre conteúdo de baixa resolu- ção e conteúdo de alta resolução, enquanto decodifica. Por exemplo, em um caso no qual o usuário deseja continuar a assistir, por exemplo, em casa, em um dispositivo tal como uma TV conectada à Internet, a um vídeo que o usuário esteve assistindo previamente no smartphone ex115 enquanto estava em movimento, o dispositivo pode simples- mente decodificar a mesma sequência até uma camada diferente, o que reduz a carga no lado do servidor.

[00394] Adicionalmente, em adição à configuração descrita acima, na qual a capacidade de escalonamento é alcançada como um resul- tado das imagens sendo codificadas por camada, com a camada de aperfeiçoamento estando acima da camada de base, a camada de aperfeiçoamento pode incluir metadados com base, por exemplo, na informação estatística na imagem. O lado do decodificador pode gerar conteúdo de alta qualidade de imagem pela realização da criação de imagem com super resolução em uma imagem na camada de base com base nos metadados. A criação de imagem de super resolução pode aperfeiçoar a razão de SN enquanto mantém a resolução e/ou aumenta a resolução. Os metadados incluem informação para a identi- ficação de um coeficiente de filtro linear ou não linear, como utilizado no processamento de super resolução, ou informação identificando um valor de parâmetro no processamento de filtro, aprendizado de máqui- na, ou método de quadrados mínimos, utilizado no processamento de super-resolução.

[00395] —Alternativamente, uma configuração pode ser fornecida, na qual uma imagem é dividida em, por exemplo, “tiles” de acordo com, por exemplo, o significado de um objeto na imagem. No lado do deco- dificador, apenas uma região parcial é decodificada pela seleção de um “tile” a ser decodificado. Adicionalmente, pelo armazenamento de um atributo do objeto (pessoa, carro, bola, etc.) e uma posição do ob- jeto no vídeo (coordenadas em imagens idênticas) como metadados, o lado do decodificador pode identificar a posição de um objeto desejado com base nos metadados e determinar que “tile” ou “tiles” incluem es- se objeto. Por exemplo, como ilustrado na figura 53, os metadados podem ser armazenados utilizando-se uma estrutura de armazena- mento de dados diferente dos dados de pixel, tal como uma mensa- gem SEI (informação de aperfeiçoamento suplementar) em HEVC. Es-

ses metadados indicam, por exemplo, a posição, o tamanho, ou cor do objeto principal.

[00396] Os metadados podem ser armazenados em unidades de uma pluralidade de imagens, tal como unidades de transmissão, se- quência ou acesso aleatório. O lado do decodificador pode obter, por exemplo, o momento no qual uma pessoa específica aparece no ví- deo, e pelo encaixe da informação de tempo com a informação da uni- dade de imagem, pode identificar uma imagem na qual o objeto está presente, e pode determinar a posição do objeto na imagem. Otimização da Página da Rede

[00397] A figura 54 ilustra um exemplo de uma tela de exibição de uma página da rede no computador ex111, por exemplo. A figura 55 ilustra um exemplo de uma tela de exibição de uma página da rede no smartphone ex115, por exemplo. Como ilustrado na figura 54 e na fi- gura 55, uma página da rede pode incluir uma pluralidade de links de imagem que são links para o conteúdo de imagem, e a aparência da página da rede pode diferir dependendo do dispositivo utilizado para visualizar a página da rede. Quando uma pluralidade de links de ima- gem pode ser visualizada na tela, até que o usuário selecione explici- tamente um link de imagem, ou até que o link de imagem esteja no centro aproximado da tela ou que todo o link de imagem encaixe na tela, o aparelho de exibição (decodificador) pode exibir, como os links de imagem, imagens estáticas incluídas no conteúdo ou imagens |; pode exibir vídeo, tal como um gif animado, utilizando uma pluralidade de imagens estáticas ou imagens |; ou pode receber apenas a camada de base, e decodificar e exibir o vídeo.

[00398] “Quando um link de imagem é selecionado pelo usuário, o aparelho de exibição realiza a decodificação enquanto, por exemplo, fornece a prioridade mais alta para a camada de base. Note-se que se houver informação no código HTML da página de rede indicando que o conteúdo é escalonável, o aparelho de exibição pode decodificar até a camada de aperfeiçoamento. Adicionalmente, a fim de se garantir a reprodução em tempo real, antes que uma seleção seja realizada, ou quando a largura de banda for limitada de forma severa, o aparelho de exibição pode reduzir o retardo entre o momento no qual a imagem dianteira é decodificada e o momento no qual a imagem decodificada é exibida (isso é, o retardo entre o início da decodificação do conteúdo até a exibição do conteúdo) pela decodificação e exibição apenas das imagens de referência de avanço (imagem |, imagem P, imagem B de referência de avanço). Adicionalmente ainda, o aparelho de exibição pode ignorar propositadamente a relação de referência entre as ima- gens, e decodificar de forma aproximada todas as imagens B e P co- mo imagens de referência de avanço e, então, realizar a decodificação normal à medida que o número de imagens recebidas aumenta com o tempo. Acionamento Autônomo

[00399] “Quando da transmissão e recebimento de dados de ima- gem estática ou vídeo, tal como informação de mapa bi ou tridimensi- onal para acionamento autônomo ou acionamento assistido de um au- tomóvel, o terminal de recepção pode receber, em adição aos dados de imagem pertencentes a uma ou mais camadas, a informação, por exemplo, sobre o clima ou construção de estradas como metadados, e associar os metadados aos dados de imagem mediante decodificação. Note-se que os metadados podem ser designados por camada e, al- ternativamente, podem ser simplesmente multiplexados com dados de imagem.

[00400] Em tal caso, visto que o automóvel, drone, aeronave, etc., contendo o terminal de recepção, é móvel, o terminal de recepção po- de receber e realizar continuamente a decodificação enquanto comuta entre as estações base dentre as estações base de ex106 a ex110,

pela transmissão da informação que indica a posição do terminal de recepção. Ademais, de acordo com a seleção realizada pelo usuário, a situação do usuário e/ou a largura de banda da conexão, o terminal de recepção pode selecionar dinamicamente até que ponto os metadados são recebidos, ou até que ponto a informação de mapa, por exemplo, está atualizada.

[00401] No sistema de fornecimento de conteúdo ex100, o cliente pode receber, decodificar e reproduzir, em tempo real, a informação codificada transmitida pelo usuário. Transmissão de Conteúdo Individual

[00402] No sistema de fornecimento de conteúdo ex100, em adição à alta qualidade de imagem, o conteúdo longo distribuído por uma en- tidade de distribuição de vídeo, transmissão por unidifusão ou multidi- fusão de baixa qualidade de imagem, e conteúdo curto de um indiví- duo também são possíveis. Tal conteúdo de indivíduos tem chances de aumentar ainda mais em termos de popularidade. O servidor pode primeiramente realizar o processamento de edição no conteúdo antes do processamento de codificação, a fim de refinar o conteúdo individu- al. Isso pode ser alcançado utilizando-se a configuração a seguir, por exemplo.

[00403] Em tempo real, enquanto se captura conteúdo de vídeo ou imagem, ou depois que o conteúdo foi capturado e acumulado, o ser- vidor realiza o processamento de reconhecimento com base em dados brutos ou dados codificados, tal como processamento de erro de cap- tura, processamento de busca de cena, análise de significado, e/ou processamento de detecção de objeto. Então, com base no resultado do processamento de reconhecimento, o servidor — quando avisado ou automaticamente — edita o conteúdo, exemplos do qual incluem: cor- reção, tal como correção de foco e/ou manchas de movimento; remo- ção de cenas de baixa prioridade, tal como cenas que apresentam pouco brilho em comparação com outras imagens, ou fora de foco; ajuste de borda de objeto, e ajuste de tom de cor. O servidor codifica os dados editados com base no resultado da edição. É sabido que ví- deos excessivamente longos tendem a receber menos visualizações. De acordo, a fim de manter o conteúdo dentro de um comprimento es- pecífico que escalone com o comprimento do vídeo original, o servidor pode, em adição às cenas de baixa prioridade descritas acima, cortar automaticamente cenas com baixo movimento, com base em um re- sultado do processamento de imagem. Alternativamente, o servidor pode gerar e codificar um resumo do vídeo, com base em um resulta- do de uma análise do significado de uma cena.

[00404] “Pode haver casos nos quais o conteúdo individual pode in- cluir conteúdo que infringe um direito autoral, direito moral, direitos de imagem, etc. Tal caso pode resultar em uma situação desfavorável para o criador, tal como quando o conteúdo é compartilhado além do escopo pretendido pelo criador. De acordo, antes da codificação, o servidor pode, por exemplo, editar imagens de modo a desfocar os rostos de pessoas na periferia da tela ou desfocar o interior de uma casa, por exemplo. Adicionalmente, o servidor pode ser configurado para reconhecer os rostos das pessoas, além de uma pessoa registra- da nas imagens a serem codificadas, e quando tais rostos aparecem em uma imagem, pode aplicar um filtro tipo mosaico, por exemplo, ao rosto da pessoa. Alternativamente, como o pré ou pós-processamento para codificação, o usuário pode especificar, por motivos de direito au- toral, uma região de uma imagem incluindo uma pessoa ou uma região do fundo a ser processada. O servidor pode processar a região especi- ficada, por exemplo, pela substituição da região por uma imagem dife- rente, ou desfocando a região. Se a região incluir uma pessoa, a pes- soa pode ser rastreada na imagem em movimento, e a região da ca- beça da pessoa pode ser substituída por outra imagem à medida que a pessoa se move.

[00405] Visto que existe uma demanda pela visualização em tempo real de conteúdo produzido por indivíduos, que tende a ser pequeno em tamanho de dados, o decodificador pode primeiro receber a cama- da de base como a prioridade mais alta, e realizar a decodificação e reprodução, apesar de isso poder diferir dependendo da largura de banda. Quando o conteúdo é reproduzido duas ou mais vezes, tal co- mo quando o decodificador recebe a camada de aperfeiçoamento du- rante a decodificação e reprodução da camada de base e circuitos de reprodução, o decodificador pode reproduzir um vídeo de alta qualida- de de imagem incluindo a camada de aperfeiçoamento. Se a transmis- são for codificada utilizando-se tal codificação escalonável, o vídeo pode ser de baixa qualidade quando em um estado não selecionado ou no início do vídeo, mas pode oferecer uma experiência na qual a qualidade da imagem da transmissão aumenta progressivamente de uma forma inteligente. Isso não está limitado apenas à codificação es- calonável; a mesma experiência pode ser oferecida pela configuração de uma única transmissão de uma transmissão de baixa qualidade re- produzida pela primeira vez e uma segunda transmissão codificada, utilizando-se a primeira transmissão como uma referência. Outros Exemplos de Implementação e Aplicação

[00406] A codificação e decodificação podem ser realizadas por LS! (conjunto de circuitos de integração em grande escala) ex500 (ver figu- ra 51), que é tipicamente incluído em cada terminal. LS| ex500 pode ser configurado a partir de um único chip ou uma pluralidade de chips. O software para codificação e decodificação de imagens em movimen- to pode ser integrado a algum tipo de um meio de gravação (tal como um CD-ROM, um disco flexível, ou um disco rígido) que é legível, por exemplo, por computador ex111, e a codificação e decodificação po- dem ser realizadas utilizando software. Adicionalmente, quando o smartphone ex115 é equipado com uma câmera, os dados de vídeo obtidos pela câmera podem ser transmitidos. Nesse caso, os dados de vídeo podem ser codificados por LSI ex500 incluído no smartphone ex115.

[00407] Note-se que LSI ex500 pode ser configurado para descar- regar e ativar um aplicativo. Em tal caso, o terminal primeiro determina se é compatível com o esquema usado para codificar o conteúdo, ou se é capaz de executar um serviço específico. Quando o terminal não é compatível com o esquema de codificação do conteúdo, ou quando o terminal não é capaz de executar um serviço específico, o terminal pode descarregar primeiro um codec ou software de aplicativo e, en- tão, obter e reproduzir o conteúdo.

[00408] Além do exemplo do sistema de fornecimento de conteúdo ex100 que utiliza a Internet ex101, pelo menos o codificador de ima- gem em movimento (codificador de imagem) ou o decodificador de imagem em movimento (decodificador de imagem) descrito nas moda- lidades acima, pode ser implementado em um sistema de difusão digi- tal. O mesmo processamento de codificação e processamento de de- codificação pode ser aplicado para transmitir e receber ondas de rádio de difusão sobrepostas aos dados de áudio e vídeo multiplexados utili- zando, por exemplo, um satélite, apesar de isso ser direcionado para a multidifusão, ao passo que a unidifusão é mais fácil com o sistema de fornecimento de conteúdo ex100. Configuração de Hardware

[00409] A figura 56 ilustra detalhes adicionais do smartphone ex115 ilustrado na figura 51. A figura 57 ilustra um exemplo de configuração de smartphone ex115. O smartphone ex115 inclui a antena ex450 para transmitir e receber ondas de rádio para, e da estação base ex110, câmera ex465 capaz de capturar vídeo e imagens estáticas e monitor ex458 que exibe dados decodificados, tal como o vídeo capturado pela câmera ex465 e o vídeo recebido pela antena ex450. O smartphone ex115 inclui, adicionalmente, a interface de usuário ex466, tal como um painel de toque, uma unidade de saída de áudio ex457, tal como um alto falante para enviar fala ou outro áudio, unidade de entrada de áudio ex456, tal como microfone para entrada de áudio, memória ex467 capaz de armazenar dados decodificados, tal como vídeo ou imagens estáticas capturadas, áudio gravado, vídeo ou imagens está- ticas recebidas, e correio eletrônico, além de dados decodificados, e partição ex464 que é uma interface para SIM ex468 para autorizar acesso a uma rede e vários dados. Note-se que a memória externa pode ser utilizada no lugar da memória ex467.

[00410] O controlador principal ex460, que pode controlar de forma profunda o monitor ex458 e a interface de usuário ex466, o circuito de suprimento de energia ex461, o controlador de entrada de interface de usuário ex462, o processador de sinal de vídeo ex455, a interface de câmera ex463, o controlador de exibição ex459, o modula- dor/demodulador ex452, o multiplexador/desmultiplexador ex453, o processador de sinal de áudio ex454, a partição ex464, e a memória ex467, são conectados através do barramento ex470.

[00411] “Quando o usuário liga o botão de energia do circuito de su- primento de energia ex461, o smartphone ex115 é energizado para um estado operacional, e cada componente é suprido com energia de um pacote de baterias.

[00412] O smartphone ex115 realiza o processamento para, por exemplo, chamadas e transmissão de dados, com base no controle realizado pelo controlador principal ex560, que inclui uma CPU, ROM e RAM. Quando da realização de chamadas, um sinal de áudio grava- do pela unidade de registro de áudio ex456 é convertido em um sinal de áudio digital pelo processador de sinal de áudio ex454, ao qual o processamento de espectro de espalhamento é aplicado pelo modula-

dor/demodulador ex452 e conversão de digital para analógico, e o pro- cessamento de conversão de frequência é aplicado pelo transmis- sor/receptor ex451, e o sinal resultante é transmitido através da antena ex450. Os dados recebidos são amplificados, convertidos em frequên- cia e convertidos de analógico para digital, o espectro de espalhamen- to inverso processado pelo modulador/demodulador ex452, convertido em um sinal de áudio analógico pelo processador de sinal de áudio ex454, e, então, enviado a partir da unidade de saída de áudio ex457. No modo de transmissão de dados, dados de texto, imagem estática ou vídeo podem ser transmitidos sob o controle do controlador princi- pal ex460 através do controlador de entrada da interface de usuário ex462, com base na operação da interface de usuário ex466 do corpo principal, por exemplo.

O processamento de transmissão e recepção similar é realizado.

No modo de transmissão de dados, quando do en- vio de um vídeo, imagem estática, ou vídeo e áudio, o processador de sinal de vídeo ex455 codifica por compressão, através do método de codificação de imagem em movimento, descrito nas modalidades aci- ma, um sinal de vídeo armazenado na memória ex467 ou um registro de sinal de vídeo a partir da câmera ex465, e transmite o segundo da- do de vídeo para o multiplexador/desmultiplexador ex453. O proces- sador de sinal de áudio ex454 codifica um sinal de áudio gravado pela unidade de registro de áudio ex456, enquanto a câmera ex465 está capturando um vídeo ou imagem estática, e transmite os dados de áu- dio codificados para o multiplexador/desmultiplexador ex453. O multi- plexador/desmultiplexador ex453 multiplexa os dados de vídeo codifi- cados e dados de áudio codificados, utilizando um esquema determi- nado, modula e converte os dados utilizando o modulador/demodu- lador (circuito de modulador/demodulador) ex452 e o transmissor/re- ceptor ex451, e transmite o resultado através da antena ex450. O es- quema determinado pode ser predeterminado.

[00413] “Quando o vídeo anexado em um e-mail ou um chat, ou um vídeo com link de uma página da rede, é recebido, por exemplo, a fim de decodificar os dados multiplexados recebidos através da antena ex450, o multiplexador/desmultiplexador ex453 desmultiplexa os da- dos multiplexados para dividir os dados multiplexados em uma se- quência de bits de dados de vídeo e uma sequência de bits de dados de áudio, supre os dados de vídeo codificados para o processador de sinal de vídeo ex455 através do barramento sincronizado ex470 e su- pre os dados de áudio codificados para o processador de sinal de áu- dio ex454 através do barramento sincronizado ex470. O processador de sinal de vídeo ex455 decodifica o sinal de vídeo utilizando um mé- todo de decodificação de imagem em movimento, correspondendo ao método de codificação de imagem em movimento descrito nas modali- dades acima, e vídeo ou imagem estática incluído no arquivo de ima- gem em movimento no link é exibido no monitor ex458 através do con- trolador de exibição ex459. O processador de sinal de áudio ex454 de- codifica o sinal de áudio e envia áudio a partir da unidade de saída de áudio 3x457. Visto que a transmissão em tempo real está se tornando cada vez mais popular, pode haver casos nos quais a reprodução do áudio pode ser socialmente inadequada, dependendo do ambiente do usuário. De acordo, como um valor inicial, uma configuração na qual apenas os dados de vídeo são reproduzidos, isso é, o sinal de áudio não é reproduzido, pode ser preferível; o áudio pode ser sincronizado e reproduzido apenas quando uma entrada, tal como quando o usuário clica nos dados de vídeo, é recebida.

[00414] Apesar de o smartphone ex115 ter sido utilizado no exem- plo acima, outras implementações são concebíveis; um terminal trans- ceptor, incluindo ambos um codificador e um decodificador; um termi- nal transmissor, incluindo apenas um codificador; e um terminal recep- tor incluindo apenas um decodificador. Na descrição do sistema de difusão digital, um exemplo é fornecido no qual os dados multiplexa- dos, obtidos como um resultado de dados de vídeo sendo multiplexa- dos com dados de áudio, são recebidos ou transmitidos. Os dados multiplexados, no entanto, podem ser dados de vídeo multiplexados com dados, além dos dados de áudio, tal como dados de texto relacio- nados com vídeo. Adicionalmente, os dados de vídeo propriamente ditos, em vez dos dados multiplexados, podem ser recebidos ou transmitidos.

[00415] Apesar de o controlador principal ex460, incluindo uma CPU, ser descrito como controlando os processos de codificação ou decodificação, vários terminais incluem, com frequência, GPUs. De acordo, uma configuração é aceitável na qual uma área grande é pro- cessada de uma vez fazendo-se uso da capacidade de desempenho da GPU através da memória compartilhada pela CPU e GPU, ou me- mória incluindo um endereço, que é gerenciado de modo a permitir a utilização comum pela CPU e GPU. Isso possibilita a redução do tem- po de codificação, mantendo a natureza temporal da transmissão, e reduzindo o retardo. Em particular, o processamento referente à esti- mativa de movimento, filtragem de desbloqueio, desvio adaptativo de amostra (SAO), e transformação/quantização podem ser efetivamente realizados pela GPU em vez de pela CPU em unidades de imagens, por exemplo, todos de uma vez. Aplicabilidade Industrial

[00416] A presente descrição é aplicável a um receptor de televi- são, um gravador de vídeo digital, uma navegação de automóvel, um telefone móvel, uma câmera digital, uma câmera de vídeo digital, um sistema de teleconferência, um espelho eletrônico, etc. Marcas de Referência nos Desenhos 100 codificador 102 divisor

104 subtraidor 106 transformador 108 quantizador 110 codificador por entropia 112,204 —quantizador inverso 114,206 transformador inverso 116,208 somador 118,210 memória de bloco 120,212 filtrode circuito 122,214 memória de quadro 124,216 intraprevisor 126,218 interprevisor 128,220 controlador de previsão 200 decodificador 202 decodificador por entropia 1201 determinador de limite 1202,1204, 1206 comutador 1203 determinador de filtro 1205 executor de filtragem 1207 determinador de característica de filtragem 1208 determinador de processamento a1,b1 processador a2,b2 memória

Claims

REIVINDICAÇÕES

1. Codificador que codifica um bloco atual a ser codificado em uma imagem, caracterizado pelo fato de que compreende: um conjunto de circuitos; e uma memória acoplada ao conjunto de circuitos, em que em operação, o conjunto de circuitos: gera uma primeira imagem de previsão, com base em um vetor de movimento, a primeira imagem de previsão sendo uma ima- gem com precisão de pixel total; gera uma segunda imagem de previsão, utilizando um filtro de interpolação pela interpolação de um valor em uma posição de pixel fracionado entre as posições de pixel total incluídas na primeira ima- gem de previsão; e codifica o bloco atual com base na segunda imagem de previsão; e na utilização do filtro de interpolação, o filtro de interpolação é comutado entre um primeiro filtro de interpolação e um segundo filtro de interpolação diferente, em um número total de saídas, do primeiro filtro de interpolação.

2. Codificador, de acordo com a reivindicação 1, caracteri- zado pelo fato de que: na comutação do filtro de interpolação, um tamanho do bloco atual é julgado como sendo maior do que um tamanho limite; quando o tamanho do bloco atual é superior ao tamanho |li- mite, um filtro de interpolação, para uso na compensação de movimen- to do bloco atual, é determinado como sendo o primeiro filtro de inter- polação; quando o tamanho do bloco atual não é superior ao tama- nho limite, o filtro de interpolação para uso na compensação de movi-

mento do bloco atual é determinado como sendo o segundo filtro de interpolação; a segunda imagem de previsão é gerada utilizando o filtro de interpolação determinado, e o segundo filtro de interpolação possui menos saídas do que o primeiro filtro de interpolação.

3. Codificador, de acordo com a reivindicação 2, caracteri- zado pelo fato de que: o primeiro filtro de interpolação é um filtro de 8 saídas.

4. Codificador, de acordo com a reivindicação 2 ou 3, carac- terizado pelo fato de que: o segundo filtro de interpolação é um filtro de 6 saídas.

5. Codificador, de acordo com qualquer uma das reivindica- ções 2 a 4, caracterizado pelo fato de que: o tamanho limite é de 4 x 4 pixels.

6. Codificador, de acordo com qualquer uma das reivindica- ções 1 a 5, caracterizado pelo fato de que: o bloco atual é um sub-bloco do modo afim.

7. Decodificador que decodifica um bloco atual a ser deco- dificado em uma imagem, caracterizado pelo fato de que compreende: um conjunto de circuitos; e uma memória acoplada ao conjunto de circuitos, em que em operação, o conjunto de circuitos: gera uma primeira imagem de previsão, com base em um vetor de movimento, a primeira imagem de previsão sendo uma ima- gem com precisão de pixel total; gera uma segunda imagem de previsão, utilizando um filtro de interpolação pela interpolação de um valor em uma posição de pixel fracionado entre as posições de pixel total incluídas na primeira ima- gem de previsão; e decodifica o bloco atual com base na segunda imagem de previsão, e na utilização do filtro de interpolação, o filtro de interpolação é comutado entre um primeiro filtro de interpolação e um segundo filtro de interpolação que difere, em um número total de saídas, do primeiro filtro de interpolação.

8. Decodificador, de acordo com a reivindicação 7, caracte- rizado pelo fato de que: na comutação do filtro de interpolação; um tamanho do bloco atual é considerado maior do que um tamanho limite; quando o tamanho do bloco atual é superior ao tamanho |li- mite, um filtro de interpolação, para uso na compensação de movimen- to do bloco atual, é determinado como sendo o primeiro filtro de inter- polação; quando o tamanho do bloco atual não é superior ao tama- nho limite, o filtro de interpolação, para uso na compensação de mo- vimento do bloco atual, é determinado como sendo o segundo filtro de interpolação; a segunda imagem de previsão é gerada utilizando-se o fil- tro de interpolação determinado; e o segundo filtro de interpolação possui menos saídas do que o primeiro filtro de interpolação.

9. Decodificador, de acordo com a reivindicação 8, caracte- rizado pelo fato de que: o primeiro filtro de interpolação é um filtro de 8 saídas.

10. Decodificador, de acordo com a reivindicação 8 ou 9, caracterizado pelo fato de que: o segundo filtro de interpolação é um filtro de 6 saídas.

11. Decodificador, de acordo com qualquer uma das reivin-

dicações 8 a 10, caracterizado pelo fato de que o tamanho limite é de 4 x 4 pixels.

12. Decodificador, de acordo com qualquer uma das reivin- dicações 7 a 11, caracterizado pelo fato de que: o bloco atual é um sub-bloco do modo afim.

13. Método de codificação de codificação de um bloco atual a ser codificado em uma imagem, caracterizado pelo fato de que com- preende: gerar uma primeira imagem de previsão com base em um vetor de movimento, a primeira imagem de previsão sendo uma ima- gem com precisão de pixel total; gerar uma segunda imagem de previsão utilizando um filtro de interpolação pela interpolação de um valor, em uma posição de pixel fracionado entre as posições de pixel total, incluídas na primeira imagem de previsão; e codificar o bloco atual com base na segunda imagem de previsão, e na utilização do filtro de interpolação, o filtro de interpola- ção é comutado entre um primeiro filtro de interpolação e um segundo filtro de interpolação que difere, em um número total de saídas, do primeiro filtro de interpolação.

14. Método de decodificação de decodificação de um bloco atual a ser decodificado em uma imagem, caracterizado pelo fato de que compreende: gerar uma primeira imagem de previsão com base em um vetor de movimento, a primeira imagem de previsão sendo uma ima- gem com precisão de pixel total; gerar uma segunda imagem de previsão utilizando um filtro de interpolação, pela interpolação de um valor em uma posição de pixel fracionado entre as posições de pixel total incluídas na primeira imagem de previsão; e decodificar o bloco atual com base na segunda imagem de previsão, e na utilização do filtro de interpolação, o filtro de interpola- ção é intercalado entre um primeiro filtro de interpolação e um segun- do filtro de interpolação que difere, em um número total de saídas, do primeiro filtro de interpolação.

O e O oe |5º a =) 8º 2 3-2 o8| = =ls S&S Ss ls = 8 s S Ss õ v o SC 8 E ve &s N ss o 2 = 2 oo OD So o => == - SE E ico => ce [Ta o õ — E 3 Fr Fo Ss Ss SN =) N 6 Ss = T/eglFis8 S So ss o NS ES E>Z o o go 2º o = =e = o = o o & + o 2 o a Ns "o = EV “8 a o jo Ê ê 3 || = E 2 2 = o s a E o” 8 So «o Cc o E E õ õ Ss = = o o nm ' 1 - 165,8 ' 18 o 1 E O! 129 ' = o 1 o ' = 10% ' o 1 1 - o fo A..OAMOC ÉÍ TERA + NaN ev - D =X oO

ÔÕ