BR112019013978A2 - Dispositivo e método de processamento de imagem. - Google Patents

Abstract

a presente invenção refere-se a um dispositivo de processamento de imagem e um método de processamento de imagem que permite que uma imagem predita com blocos retangulares seja gerada com alta precisão, ao gerar uma imagem predita com blocos com base em vetores de movimento de dois vértices dos blocos. uma unidade de predição gera uma imagem predita com unidades de predição (pu) com base em vetores de movimento de dois vértices arranjados na direção que tem o maior tamanho entre a direção longitudinal e a direção lateral da pu. a presente invenção é aplicável a dispositivos de codificação de imagem ou similares que executam compensação de movimento usando transformação afim com base em dois vetores de movimento, e que executam o processamento de interpredição.

Description

DISPOSITIVO E MÉTODO DE PROCESSAMENTO DE IMAGEM CAMPO TÉCNICO [001] A presente descrição refere-se a um dispositivo de processamento de imagem e um método de processamento de imagem e, mais particularmente, a um dispositivo de processamento de imagem e um método de processamento de imagem que permitem a geração de uma imagem predita de um bloco retangular com alta precisão em um caso onde a imagem predita do bloco é gerada com base em vetores de movimento de dois vértices do bloco.

FUNDAMENTOS DA TÉCNICA [002] Na equipe de exploração de vídeo conjunta (JVET) que busca uma próxima geração de codificação de vídeo do setor de padronização de telecomunicação da União Internacional de Telecomunicações (ITU-T), o processamento de interpredição (predição de compensação de movimento (MC) afim) foi desenvolvido por transformação afim de uma imagem de referência com base em vetores de movimento de dois vértices (por exemplo, ver Documentos Não Patentes 1 e 2). Como resultado, no momento do processamento de interpredição, uma imagem predita pode ser gerada, na qual as mudanças no formato são compensadas, como a translação (movimento paralelo) entre telas, movimento em uma direção rotacional, e dimensionamento.

[003] Além disso, na JVET, uma tecnologia chamada quadtree mais árvore binária (QTBT) descrita no Documento Não Patente 3 é adotada como uma tecnologia para formar uma unidade de codificação (CU). Assim, existe a possibilidade de que o formato da CU não seja apenas um quadrado, mas também um retângulo.

LISTA DE CITAÇÃO

DOCUMENTO NÃO PATENTE [004] Documento não patente 1: Jianle Chen et al., “Algorithm

Petição 870190062895, de 05/07/2019, pág. 10/149

2/102

Description of Joint Exploration Test Model 4 (JVET-C1001)”, JVET da ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG11, 26 de maio-1 junho de 2016 [005] Documento não patente 2: Feng Zou, “Improved affine motion prediction (JVET-C0062)”, JVET da ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG11, 26 de maio-1 junho de 2016 [006] Documento não patente 3: “EE2.1: Quadtree plus binary tree structure integration with JEM tools (JVET-C0024)”, JVET da ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG11, 16 de maio de 2016

SUMÁRIO DA INVENÇÃO

PROBLEMAS A SEREM SOLUCIONADOS PELA INVENÇÃO [007] Em um caso em que uma unidade de predição (PU) é o mesmo bloco retangular que a CU, se a transformação afim no processamento de interpredição for realizada com base em vetores de movimento de dois vértices em um lado curto da PU, a degradação na precisão da predição devido a erros dos vetores de movimento torna-se grande em comparação com um caso em que a transformação afim é realizada com base em vetores de movimento de dois vértices em um lado longo.

[008] No entanto, não foi planejado mudar posições na PU de vértices correspondentes aos dois vetores de movimento usados na transformação afim do processamento de interpredição, dependendo do formato da PU. Assim, em um caso em que o formato da PU é um retângulo, há um caso em que a imagem predita não pode ser gerada com alta precisão.

[009] A presente descrição foi feita em vista de tal situação, e é um objetivo permitir a geração de uma imagem predita de um bloco retangular com alta precisão em um caso onde a imagem predita do bloco é gerada com base em vetores de movimento de dois vértices do bloco.

SOLUÇÕES PARA OS PROBLEMAS [0010] Um dispositivo de processamento de imagem de acordo com

Petição 870190062895, de 05/07/2019, pág. 11/149

3/102 um aspecto da presente descrição é um dispositivo de processamento de imagem incluindo uma unidade de predição que gera uma imagem predita de um bloco com base em vetores de movimento de dois vértices arranjados em uma direção de um lado com um tamanho maior fora de um tamanho em uma direção longitudinal e um tamanho em uma direção lateral do bloco.

[0011] Um método de processamento de imagem de acordo com um aspecto da presente descrição corresponde ao dispositivo de processamento de imagem de acordo com o aspecto da presente descrição.

[0012] No aspecto da presente descrição, a imagem predita do bloco é gerada com base nos vetores de movimento dos dois vértices arranjados na direção do lado com o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco.

EFEITOS DA INVENÇÃO [0013] De acordo com o aspecto da presente descrição, pode ser gerada uma imagem predita. Além disso, de acordo com o aspecto da presente descrição, uma imagem predita de um bloco retangular pode ser gerada com alta precisão em um caso em que a imagem predita do bloco é gerada com base em vetores de movimento de dois vértices do bloco.

[0014] Deve-se observar que o efeito aqui descrito não é necessariamente limitado e pode ser qualquer efeito descrito na presente descrição.

BREVE DESCRIÇÃO DOS DESENHOS [0015] A Fig. 1 é um diagrama que descreve o processamento de interpredição que realiza compensação de movimento com base em um vetor de movimento.

[0016] A Fig. 2 é um diagrama que descreve o processamento de interpredição que realiza compensação de movimento com base em um vetor de movimento e ângulo de rotação.

[0017] A Fig. 3 é um diagrama que descreve o processamento de

Petição 870190062895, de 05/07/2019, pág. 12/149

4/102 interpredição que realiza compensação de movimento com base em dois vetores de movimento.

[0018] A Fig. 4 é um diagrama que descreve o processamento de interpredição que realiza compensação de movimento com base em três vetores de movimento.

[0019] A Fig. 5 é um diagrama que descrevem blocos antes e depois de transformação afim com base em três vetores de movimento.

[0020] A Fig. 6 é um diagrama que descreve QTBT.

[0021] A Fig. 7 é um diagrama que descreve o processamento de interpredição com base em dois vetores de movimento para uma PU retangular.

[0022] A Fig. 8 é um diagrama que descreve o processamento de interpredição com base em dois vetores de movimento em que ocorreram erros para a PU retangular.

[0023] A Fig. 9 é um diagrama que descreve o processamento de interpredição com base em três vetores de movimento para a PU retangular.

[0024] A Fig. 10 é um diagrama de blocos que ilustra um exemplo de configuração de uma modalidade de um dispositivo de codificação de imagem.

[0025] A Fig. 11 é um diagrama que descreve duas informações de vetores de movimento.

[0026] A Fig. 12 é um diagrama que descreve vetores adjacentes.

[0027] A Fig. 13 é um exemplo que ilustra uma região de uma CU cujo sinalizador Afim é definido como 1.

[0028] A Fig. 14 é um diagrama que ilustra um exemplo de um limite da região da CU cujo sinalizador Afim é definido como 1.

[0029] A Fig. 15 é um diagrama que ilustra um outro exemplo do limite da região da CU cujo sinalizador Afim é definido como 1.

[0030] A Fig. 16 é um fluxograma que descreve o processamento de

Petição 870190062895, de 05/07/2019, pág. 13/149

5/102 codificação de imagem.

[0031] A Fig. 17 é um fluxograma que descreve um primeiro exemplo de processamento de configuração de modo de processamento de interpredição.

[0032] A Fig. 18 é um fluxograma que descreve um segundo exemplo do processamento de configuração de modo de processamento de interpredição.

[0033] A Fig. 19 é um fluxograma que descreve o processamento de codificação de modo de transformação afim de fusão.

[0034] A Fig. 20 é um fluxograma que descreve o processamento de codificação de modo de transformação afim de AMVP.

[0035] A Fig. 21 é um fluxograma que descreve o processamento de codificação de sinalizador Afim.

[0036] A Fig. 22 é um diagrama de blocos que ilustra um exemplo de configuração de uma modalidade de um dispositivo de decodificação de imagem.

[0037] A Fig. 23 é um fluxograma que descreve o processamento de decodificação de imagem.

[0038] A Fig. 24 é um fluxograma que descreve o processamento de decodificação de modo de transformação afim de fusão.

[0039] A Fig. 25 é um fluxograma que descreve o processamento de decodificação de modo de transformação afim de AMVP.

[0040] A Fig. 26 é um diagrama de blocos que ilustra um exemplo de configuração de hardware de um computador.

[0041] A Fig. 27 é um diagrama de blocos que ilustra um exemplo de uma configuração esquemática de um dispositivo de televisão.

[0042] A Fig. 28 é um diagrama de blocos que ilustra um exemplo de uma configuração esquemática de um telefone celular.

[0043] A Fig. 29 é um diagrama de blocos que ilustra um exemplo de

Petição 870190062895, de 05/07/2019, pág. 14/149

6/102 uma configuração esquemática de um dispositivo de gravação/reprodução.

[0044] A Fig. 30 é um diagrama de blocos que ilustra um exemplo de uma configuração esquemática de um dispositivo de formação de imagem.

[0045] A Fig. 31 é um diagrama de blocos que ilustra um exemplo de uma configuração esquemática de um conjunto de vídeo.

[0046] A Fig. 32 é um diagrama de blocos que ilustra um exemplo de uma configuração esquemática de um processador de vídeo.

[0047] A Fig. 33 é um diagrama de blocos que ilustra um outro exemplo da configuração esquemática do processador de vídeo.

[0048] A Fig. 34 é um diagrama de blocos que ilustra um exemplo de uma configuração esquemática de um sistema de rede.

MODO PARA REALIZAR A INVENÇÃO [0049] Daqui em diante, será descrita uma premissa da presente invenção e modos para realizar a presente invenção (daqui em diante chamados de modalidades). Deve-se observar que a descrição será feita na seguinte ordem.

0. Premissa da presente invenção (Figs. 1 a 9)

1. Primeira modalidade: dispositivo de processamento de imagem (Figs. 10 a 25)

2. Segunda modalidade: computador (Fig. 26)

3. Terceira modalidade: dispositivo de televisão (Fig. 27)

4. Quarta modalidade: telefone celular (Fig. 28)

5. Quinta modalidade: dispositivo de gravação/reprodução (Fig. 29)

6. Sexta modalidade: dispositivo de formação de imagem (Fig. 30)

7. Sétima modalidade: conjunto de vídeo (Figs. 31a 33)

8. Oitava modalidade: sistema de rede (Fig. 34) <Premissa da presente invenção

Petição 870190062895, de 05/07/2019, pág. 15/149

7/102 (Descrição do processamento de interpredição que realiza compensação de movimento com base em um vetor de movimento) [0050] A Fig. 1 é um diagrama que descreve o processamento de interpredição que realiza compensação de movimento com base em um vetor de movimento.

[0051] Deve-se observar que, na descrição a seguir, a menos que especificado de outra forma, uma direção lateral (direção horizontal) de uma imagem (gravura) é definida como uma direção x e uma direção longitudinal (direção vertical) é definida como uma direção y.

[0052] Como ilustrado na Fig. 1, no processamento de interpredição que realiza a compensação de movimento com base em um vetor de movimento, um vetor de movimento v_c(v_cx, v_cy) é determinado para uma PU 11 (bloco atual) a ser predita. Então, um bloco 13 do mesmo tamanho que a PU 11 existente em uma posição à parte da PU 11 pelo vetor de movimento v_c, em uma imagem de referência em um tempo diferente daquele de uma gravura 10 incluindo a PU 11, é submetido à translação com base no vetor de movimento v_c, em que uma imagem predita da PU 11 é gerada.

[0053] Em outras palavras, no processamento de interpredição que realiza a compensação de movimento com base em um vetor de movimento, a transformação afim não é realizada na imagem de referência, e uma imagem predita é gerada na qual apenas a translação entre as telas é compensada. Além disso, dois parâmetros v_cx e v_cy são usados para o processamento de interpredição. Tal processamento de interpredição é adotado em codificação avançada de vídeo (AVC), codificação de vídeo de alta eficiência (HEVC) e similares.

(Descrição do processamento de interpredição que realiza compensação de movimento com base em um vetor de movimento e ângulo de rotação) [0054] A Fig. 2 é um diagrama que descreve o processamento de interpredição que realiza compensação de movimento com base em um vetor

Petição 870190062895, de 05/07/2019, pág. 16/149

8/102 de movimento e ângulo de rotação.

[0055] Como ilustrado na Fig. 2, no processamento de interpredição que realiza a compensação de movimento com base em um vetor de movimento e ângulo de rotação, um vetor de movimento v_c(v_cx, v_cy) e ângulo de rotação 0 são determinados para a PU 11 a ser predita. Então, um bloco 21 do mesmo tamanho que a PU 11 existente na posição à parte da PU 11 pelo vetor de movimento v_c com uma inclinação do ângulo de rotação Θ, na imagem de referência em um tempo diferente daquele da gravura 10 incluindo a PU 11, é submetido à transformação afim com base no vetor de movimento v_c e no ângulo de rotação Θ, em que uma imagem predita da PU 11 é gerada.

[0056] Em outras palavras, no processamento de interpredição que realiza a compensação de movimento com base em um vetor de movimento e ângulo de rotação, a transformação afim é realizada na imagem de referência com base no único vetor de movimento e ângulo de rotação. Como resultado, é gerada uma imagem predita na qual a translação entre as telas e o movimento em uma direção rotacional é compensada. Assim, a precisão da imagem prevista é melhorada em comparação com a do processamento de interpredição que realiza a compensação de movimento com base em um vetor de movimento. Além disso, três parâmetros v_cx, v_cy e Θ são usados para o processamento de interpredição.

(Descrição do processamento de interpredição que realiza compensação de movimento com base em dois vetores de movimento) [0057] A Fig. 3 é um diagrama que descreve o processamento de interpredição que realiza compensação de movimento com base em dois vetores de movimento.

[0058] Como ilustrado na Fig. 3, no processamento de interpredição que realiza a compensação de movimento com base em dois vetores de movimento, um vetor de movimento v₀(v_0x, v_Oy) em um vértice esquerdo superior A de uma PU 31 e um vetor de movimento vi(vi_x, v_iy) em um vértice

Petição 870190062895, de 05/07/2019, pág. 17/149

9/102 superior direito B são determinados para a PU 31 a ser predita.

[0059] Então, um bloco 32 com um ponto A’ separado do vértice A pelo vetor de movimento v₀ como o vértice esquerdo superior, e um ponto B’ separado do vértice B pelo vetor de movimento vi como o vértice direito superior, na imagem de referência em um momento diferente do de uma gravura incluindo a PU 31, é submetido à transformação afim com base no vetor de movimento v₀ e no vetor de movimento vi, pelo que é gerada uma imagem predita da PU 31.

[0060] Especificamente, a PU 31 é dividida em blocos de um tamanho predeterminado (a partir daqui chamados de blocos de unidade de compensação de movimento). Então, um vetor de movimento v(v_x, v_y) de cada bloco de unidade de compensação de movimento é obtido por uma expressão (1) abaixo com base do vetor de movimento v₀(v_0x, v_Oy) e no vetor de movimento vi(v_íx, v_íy).

[Expressão 1] (Vlx-V0x) (Vly-V0y) ^vx= ----ή----^x--h----^{y Ox} , x , , ---(1) (Vly-V_Oy) (V,_x-V_Ox)

Vy--jj---- X+ -----_R----- y + V()y [0061] Deve-se observar que W é um tamanho da PU 31 na direção x, e H é um tamanho da PU 31 na direção y. Assim, em um caso em que a PU 31 é um quadrado, W e H são iguais entre si. Além disso, x e y são posições na direção x e direção y do bloco de unidade de compensação de movimento, respectivamente. De acordo com a expressão (1), o vetor de movimento v do bloco de unidade de compensação de movimento é determinado com base na posição do bloco de unidade de compensação de movimento.

[0062] Então, um bloco do mesmo tamanho que o bloco de unidade de compensação de movimento separado de cada bloco de unidade de compensação de movimento, na imagem de referência pelo vetor de movimento v, é submetido à translação com base no vetor de movimento v,

Petição 870190062895, de 05/07/2019, pág. 18/149

10/102 onde uma imagem predita de cada bloco de unidade de compensação de movimento é gerada.

[0063] Como descrito acima, no processamento de interpredição que realiza a compensação de movimento com base em dois vetores de movimento, a transformação afim é realizada na imagem de referência com base nos dois vetores de movimento. Como resultado, uma imagem predita pode ser gerada, na qual mudanças no formato são compensadas, como não apenas a translação entre as telas e o movimento na direção rotacional, mas também o dimensionamento. Assim, a precisão da imagem prevista é melhorada em comparação com a do processamento de interpredição que realiza a compensação de movimento com base em um vetor de movimento e ângulo de rotação. Além disso, quatro parâmetros v_Ox, v_Oy, v_íx, e v_íy são usados para o processamento de interpredição. Esse processamento de interpredição é adotado no software de referência do modelo de exploração conjunta (JEM).

[0064] Deve-se observar que a transformação afim com base nos dois vetores de movimento é uma transformação afim na premissa de que os blocos antes e depois da transformação afim são retangulares. Para realizar a transformação afim, mesmo em um caso em que os blocos antes e depois da transformação afim sejam quadriláteros que não retângulos, três vetores de movimento são necessários.

(Descrição do processamento de interpredição que realiza compensação de movimento com base em três vetores de movimento) [0065] A Fig. 4 é um diagrama que descreve o processamento de interpredição que realiza compensação de movimento com base em três vetores de movimento.

[0066] Como ilustrado na Fig. 4, no processamento de interpredição que realiza a compensação de movimento com base em três vetores de movimento, não apenas o vetor de movimento v₀(v_0x, v_Oy) e o vetor vi(vi_x,

Petição 870190062895, de 05/07/2019, pág. 19/149

11/102 vi_y), mas também um vetor de movimento v₂(v_2x, v_2y) de um vértice esquerdo inferior C é determinado para a PU 31 a ser predita.

[0067] Então, um bloco 42 com o ponto A’ separado do vértice A pelo vetor de movimento v₀ como o vértice esquerdo superior, o ponto B’ separado do vértice B pelo vetor de movimento vi como o vértice direito superior, e um ponto C’ separado do vértice C pelo vetor de movimento v₂ como o vértice esquerdo inferior, na imagem de referência em um momento diferente do da gravura incluindo a PU 31, é submetido à transformação afim com base nos vetores de movimento v₀ a v₂, pelo que é gerada uma imagem predita da PU 31.

[0068] Em outras palavras, no processamento de interpredição que realiza a compensação de movimento com base em três vetores de movimento, a transformação afim é realizada na imagem de referência com base nos três vetores de movimento. Como resultado, o bloco 42 é submetido à translação como ilustrado em A da Fig. 5, submetido à inclinação como ilustrado em B da Fig. 5, submetido à rotação como ilustrado em C da Fig. 5, ou submetido a dimensionamento como ilustrado em D da Fig. 5.

[0069] Como resultado, uma imagem predita é gerada, na qual mudanças no formato são compensadas, como a translação entre as telas, o movimento na direção rotacional, o dimensionamento e a inclinação. Deve-se observar que, na Fig. 5, o bloco 42 antes da transformação afim é indicado por uma linha sólida, e o bloco 42 após a transformação afim é indicado por uma linha pontilhada.

[0070] Por outro lado, no processamento de interpredição que realiza a compensação de movimento com base em dois vetores de movimento descritos com referência à Fig. 3, para a imagem predita, mudanças no formato podem ser compensadas, como a translação entre as telas, o movimento na direção rotacional, e o dimensionamento, mas a inclinação não pode ser compensada. Assim, no processamento de interpredição que realiza a

Petição 870190062895, de 05/07/2019, pág. 20/149

12/102 compensação de movimento com base em três vetores de movimento, a precisão da imagem predita é melhorada quando comparada com a do processamento de interpredição que realiza a compensação de movimento com base em dois vetores de movimento.

[0071] No entanto, no processamento de interpredição que realiza a compensação de movimento com base em três vetores de movimento, seis parâmetros v_Ox, v_Oy, v_íx, v_íy, v_2x, e v_2y são usados para o processamento de interpredição. Assim, o número de parâmetros usados para o processamento de interpredição aumenta em comparação com a do processamento de interpredição que realiza a compensação de movimento com base em um vetor de movimento e ângulo de rotação ou dois vetores de movimento. Existe, portanto, uma relação de compromisso entre a melhoria na precisão da predição do processamento de interpredição usando transformação afim e supressão de sobrecarga.

[0072] Assim, na JVET, uma tecnologia foi desenvolvida para comutar o processamento de interpredição que realiza a compensação de movimento com base em dois vetores de movimento e o processamento de interpredição que realiza a compensação de movimento com base em três vetores de movimento, por um sinal de controle.

(Descrição de QTBT) [0073] Em um formato de codificação de imagem convencional, como o Grupo de Especialistas em Imagens com Movimento 2 (MPEG2) (ISO/IEC 13818-2) ou AVC, o processamento de codificação é executado em uma unidade de processamento chamada macrobloco. O macrobloco é um bloco com um tamanho uniforme de 16 x 16 pixels. Por outro lado, na HEVC, o processamento de codificação é executado em uma unidade de processamento (unidade de codificação) chamada CU. A CU é um bloco com um tamanho variável formado por divisão recursiva de uma unidade de codificação maior (LCU) que é uma unidade de codificação máxima. Um

Petição 870190062895, de 05/07/2019, pág. 21/149

13/102 tamanho máximo da CU que pode ser selecionado é 64 x 64 pixels. Um tamanho mínimo da CU que pode ser selecionado é 8 x 8 pixels. A CU do tamanho mínimo é chamada de unidade de codificação menor (SCU). Devese observar que o tamanho máximo da CU não está limitado a 64 x 64 pixels e pode ter um tamanho de bloco maior, como 128 x 128 pixels ou 256 x 256 pixels.

[0074] Como descrito acima, como resultado de que a CU com um tamanho variável é adotada, na HEVC, a qualidade de imagem e a eficiência de codificação podem ser adaptativamente ajustadas dependendo de um conteúdo da imagem. O processamento de predição para codificação preditiva é executado em uma unidade de processamento denominada PU. A PU é formada pela divisão da UC com um dos vários padrões de divisão. Além disso, a PU inclui uma unidade de processamento chamada bloco de predição (PB) para cada luminância (Y) e diferença de cor (Cb, Cr). Além disso, o processamento de transformação ortogonal é executado em uma unidade de processamento chamada unidade de transformada (TU). A TU é formada pela divisão da CU ou PU até uma certa profundidade. Além disso, a TU inclui uma unidade de processamento (bloco de transformação) chamada bloco de transformadas (TB) para cada luminância (Y) e diferença de cor (Cb, Cr).

[0075] A seguir, há casos em que a descrição é feita usando “bloco” como uma região parcial ou unidade de processamento da imagem (gravura) (não um bloco da parte de processamento). O “bloco” nesse caso indica uma região parcial arbitrária na gravura, e seu tamanho, forma, característica e similares não são limitados. Ou seja, o “bloco” nesse caso inclui uma região parcial arbitrária (unidade de processamento), por exemplo, TB, TU, PB, PU, SCU, CU, LCU (sub-bloco), macrobloco, quadriculado, fatia, ou similar.

[0076] A Fig. 6 é um diagrama que descreve QTBT adotada na JVET.

[0077] Na HEVC, um bloco só pode ser dividido em quatro (= 2x 2) sub-blocos por divisão na direção horizontal e na direção vertical. Por outro

Petição 870190062895, de 05/07/2019, pág. 22/149

14/102 lado, na QTBT, um bloco pode ser dividido não apenas em quatro (= 2x2) sub-blocos, mas também em dois (= 1 x 2, 2 x 1) sub-blocos por divisão em apenas uma da direção horizontal ou da direção vertical. Em outras palavras, na QTBT, a formação da CU é realizada por repetição recursiva de divisão de um bloco em quatro ou dois sub-blocos e, como resultado, uma estrutura de árvore é formada na forma de uma árvore quádrupla (Quad-Tree) ou árvore binária (Binary-Tree). Deve-se observar que, na descrição a seguir, a PU e a TU são consideradas iguais à CU.

(Descrição do processamento de interpredição com base em dois vetores de movimento para PU retangular) [0078] As Figs. 7 e 8 são diagramas que descrevem, cada um, o processamento de interpredição com base em dois vetores de movimento para uma PU retangular.

[0079] No exemplo da Fig. 7, uma PU 61 a ser predita é um retângulo alongado longitudinalmente no qual um tamanho H na direção y é grande quando comparado com um tamanho W na direção x. Nesse caso, similarmente ao caso da Fig. 3, se o processamento de interpredição que realiza a compensação de movimento com base em dois vetores de movimento é realizado na PU 61, como ilustrado na Fig. 7, um bloco 62 na imagem de referência em um momento diferente do de uma imagem incluindo a PU 61 é submetido à transformação afim com base no vetor de movimento v₀ e no vetor de movimento vi, pelo que é gerada uma imagem predita da PU 61. Deve-se observar que, o bloco 62 é um bloco com o ponto A’ separado do vértice A pelo vetor de movimento v₀ como o vértice esquerdo superior, e o ponto B’ separado do vértice B pelo vetor de movimento vi como o vértice direito superior.

[0080] Aqui, como ilustrado na Fig. 8, quando um erro eo ocorre no vetor de movimento v₀ e um erro ei ocorre no vetor de movimento vi, um bloco 71 na imagem de referência é submetido à transformação afim com

Petição 870190062895, de 05/07/2019, pág. 23/149 / 102 base em um vetor de movimento v₀ + eo e um vetor de movimento vi + ei, pelo que é gerada uma imagem predita da PU 61. Deve-se observar que, o bloco 71 é um bloco com um ponto A” separado do vértice A pelo vetor de movimento v₀ + eo como o vértice esquerdo superior, e um ponto B” separado do vértice B pelo vetor de movimento vi + ei como o vértice direito superior.

[0081] Um erro do vetor de movimento v de cada um dos blocos de compensação de movimento da PU 61 é influenciado pelo erro eo do vetor de movimento v₀ e o erro ei do vetor de movimento vi usado para o cálculo do vetor de movimento v. Além disso, a influência é maior à medida que a distância aumenta a partir do vértice A correspondente ao vetor de movimento v₀ e o vértice B correspondente ao vetor de movimento vi.

[0082] Além disso, nos exemplos das Figs. 7 e 8, já que o vértice A e o vértice B são arranjados na direção x que é a direção do lado curto da PU 61, uma distância entre o vértice A e o vértice C voltado para o vértice A, e uma distância entre o vértice B e o vértice D voltado para o vértice B são grandes.

[0083] Assim, um desvio entre o bloco 62 e o bloco 71 toma-se grande. A precisão da imagem predita é, portanto, degradada e um resíduo entre a PU 61 e a imagem predita é aumentado. Como resultado, em um caso em que o resíduo submetido à transformação ortogonal não é tornado zero por quantização, a eficiência de codificação é degradada de um fluxo codificado incluindo o resíduo após a quantização. Além disso, em um caso em que o resíduo submetido à transformação ortogonal é tomado zero por quantização, a precisão da imagem predita é degradada, de modo que a qualidade de imagem de uma imagem decodificada é degradada.

(Descrição do processamento de interpredição com base em três vetores de movimento para PU retangular) [0084] A Fig. 9 é um diagrama que descreve o processamento de

Petição 870190062895, de 05/07/2019, pág. 24/149

16/102 interpredição com base em três vetores de movimento para a PU retangular. [0085] Quando o processamento de interpredição que realiza a compensação de movimento com base em três vetores de movimento é realizado na PU retangular alongada longitudinalmente 61, de modo similar ao caso da Fig. 4, como ilustrado na Fig. 9, um bloco 72 na imagem de referência em um momento diferente do da gravura incluindo a PU 61 é submetido à transformação afim com base nos vetores de movimento v₀ a v₂, pelo que é gerada uma imagem predita da PU 61. Deve-se observar que, o bloco 72 é um bloco com o ponto A’ separado do vértice A pelo vetor de movimento v₀ como o vértice esquerdo superior, o ponto B’ separado do vértice B pelo vetor de movimento vi como o vértice direito superior, e o ponto C’ separado do vértice C pelo vetor de movimento v₂ como o vértice esquerdo inferior.

[0086] Aqui, como ilustrado na Fig. 9, quando erros ei a e₂ ocorrem nos vetores de movimento v₀ a v₃, respectivamente, um bloco 73 na imagem de referência é submetido à transformação afim com base nos vetores de movimento v₀ + eo, vi + ei, e v₂ + e₂, pelo que é gerada uma imagem predita da PU 61. Deve-se observar que, o bloco 73 é um bloco com o ponto A” separado do vértice A pelo vetor de movimento v₀ + eo como o vértice esquerdo superior, o ponto B” separado do vértice B pelo vetor de movimento vi + ei como o vértice direito superior, e um ponto C” separado do vértice C por um vetor de movimento v₂ + e₂ como o vértice esquerdo inferior.

[0087] Nesse caso, pelo vetor de movimento v₂ + e₂, como no caso da Fig. 8, pode-se evitar que o erro do vetor de movimento v fique maior para o bloco de compensação de movimento do lado inferior na PU 61.

[0088] No entanto, como descrito acima, no processamento de interpredição com base nos três vetores de movimento, uma vez que o número de parâmetros é seis, a sobrecarga aumenta e a eficiência de codificação

Petição 870190062895, de 05/07/2019, pág. 25/149 / 102 diminui. Assim, na presente descrição, as posições dos vértices correspondentes a dois vetores de movimento são alteradas com base em uma relação de magnitude entre o tamanho H e o tamanho W, em que a precisão de predição é melhorada do processamento de interpredição com base em dois vetores de movimento.

<Primeira modalidado (Exemplo de configuração do dispositivo de codificação de imagem) [0089] A Fig. 10 é um diagrama de blocos que ilustra um exemplo de configuração de uma modalidade de um dispositivo de codificação de imagem como um dispositivo de processamento de imagem ao qual a presente invenção é aplicada. Um dispositivo de codificação de imagem 100 da Fig. 10 é um dispositivo que codifica um resíduo de predição entre uma imagem e a sua imagem predita, tal como AVC e HEVC. Por exemplo, o dispositivo de codificação de imagem 100 implementa a tecnologia HEVC e a tecnologia concebida pela JVET.

[0090] Deve-se observar que, na Fig. 10, as partes principais de processamento e os fluxos de dados são ilustrados, e os ilustrados na Fig. 10 não são necessariamente todos. Isto é, no dispositivo de codificação de imagem 100, pode haver uma parte de processamento não ilustrada como um bloco na Fig. 10, ou processamento ou um fluxo de dados não ilustrado como uma seta ou similar na Fig. 10.

[0091] O dispositivo de codificação de imagem 100 da Fig. 10 inclui uma unidade de controle 101, uma unidade de cálculo 111, uma unidade de transformação 112, uma unidade de quantização 113, uma unidade de codificação 114, uma unidade de quantização inversa 115, uma unidade de transformação inversa 116, uma unidade de cálculo 117, uma memória de quadro 118 e uma unidade de predição 119. O dispositivo de codificação de imagem 100 realiza a codificação para cada CU em uma gravura que é uma imagem em movimento de entrada de uma base de quadro.

Petição 870190062895, de 05/07/2019, pág. 26/149

18/102 [0092] Especificamente, a unidade de controle 101 do dispositivo de codificação de imagem 100 define parâmetros de codificação (informações de cabeçalho Hinfo, informações de predição Pinfo, informações de transformação Tinfo e similares) com base na entrada a partir do exterior, da otimização de distorção de taxa (RDO) e similares.

[0093] As informações de cabeçalho Hinfo incluem informações, por exemplo, de um conjunto de parâmetros de vídeo (VPS), um conjunto de parâmetros de sequência (SPS), um conjunto de parâmetros de gravura (PPS), um cabeçalho de fatia (SH) e similares. Por exemplo, as informações de cabeçalho Hinfo incluem informações que definem um tamanho de imagem (largura lateral PicWidth, uma largura longitudinal PicHeight), uma profundidade de bits (luminância bitDepthY, diferença de cor bitDepthC), um valor máximo MaxCUSize/valor mínimo MinCUSize de tamanho de CU e similares. Naturalmente, um conteúdo das informações de cabeçalho Hinfo é arbitrário, e qualquer informação diferente do exemplo acima pode ser incluída nas informações de cabeçalho Hinfo.

[0094] As informações de previsão Pinfo incluem, por exemplo, um sinalizador de divisão indicando a presença ou ausência de divisão na direção horizontal ou na direção vertical em cada hierarquia de divisão no momento da formação da PU (CU). Além disso, as informações de predição Pinfo incluem informações de modo pred_mode_flag indicando se o processamento de predição da PU é processamento de intrapredição ou processamento de interpredição, para cada PU.

[0095] Em um caso em que as informações de modo pred_mode_flag indicam o processamento de interpredição, as informações de predição Pinfo incluem um sinalizador Fusão, um sinalizador Afim, informações de vetor de movimento, informações de especificação de imagem de referência que especificam a imagem de referência e similares. O sinalizador Fusão é uma informação que indica se um modo do processamento de interpredição é um

Petição 870190062895, de 05/07/2019, pág. 27/149

19/102 modo de fusão ou um modo de AMVP. O modo de fusão é um modo no qual o processamento de interpredição é realizado com base em um vetor de predição selecionado de candidatos incluindo um vetor de movimento (daqui em diante chamado de vetor adjacente) gerado com base em um vetor de movimento de uma PU adjacente codificada a uma PU a ser processada. O modo de AMVP é um modo no qual o processamento de interpredição é realizado com base em um vetor de movimento da PU a ser processada. O sinalizador Fusão é definido como 1 em um caso em que é indicado que o modo é o modo de fusão e é definido como 0 em um caso em que é indicado que o modo é o modo de AMVP.

[0096] O sinalizador Afim é uma informação que indica se a compensação de movimento é realizada em um modo de transformação afim ou em um modo de conversão, no processamento de interpredição. O modo de translação é um modo no qual a compensação de movimento é realizada pela translação da imagem de referência com base em um vetor de movimento. O modo de transformação afim é um modo no qual a compensação de movimento é realizada por transformação afim na imagem de referência com base em dois vetores de movimento. O sinalizador Afim (informações de predição de múltiplos vetores) é definido como 1 em um caso em que é indicado que a compensação de movimento é realizada no modo de transformação afim e é definida como 0 em um caso em que é indicado que a compensação de movimento é realizada no modo de translação.

[0097] Em um caso em que o sinalizador Fusão é definido como 1, as informações do vetor de movimento são informações de vetor de predição que especificam um vetor de predição de candidatos incluindo o vetor adjacente e, em um caso em que o sinalizador Fusão é definido como 0, as informações do vetor de movimento são as informações do vetor de predição, e uma diferença entre o vetor de predição e o vetor de movimento da PU a ser processada. Além disso, em um caso em que o sinalizador Afim é definido como 1, duas

Petição 870190062895, de 05/07/2019, pág. 28/149 / 102 informações de vetores de movimento são incluídas nas informações de predição Pinfo e, em um caso em que o sinalizador Afim é definido como 0, uma informação de vetor de movimento é incluída.

[0098] Em um caso em que as informações de modo pred_mode_flag indicam o processamento de intrapredição, as informações de predição Pinfo incluem informações de modo de intrapredição indicando um modo de intrapredição que é um modo do processamento de intrapredição, e similares. Naturalmente, um conteúdo das informações de predição Pinfo é arbitrário, e qualquer informação diferente do exemplo acima pode ser incluída nas informações de predição Pinfo.

[0099] As informações de transformação Tinfo incluem TBSize indicando um tamanho da TB e similares. Naturalmente, um conteúdo das informações de transformação Tinfo é arbitrário, e qualquer informação diferente do exemplo acima pode ser incluída nas informações de transformação Tinfo.

[00100] A unidade de cálculo 111 define sequencialmente a gravura de entrada como uma imagem a ser codificada, e define uma CU (PU, TU) a ser codificada para a gravura a ser codificada com base no sinalizador de divisão das informações de predição Pinfo. A unidade de cálculo 111 obtém um resíduo de predição D subtraindo, de uma imagem I (bloco atual) da PU a ser codificada, uma imagem predita P (bloco predito) da PU fornecida a partir da unidade de predição 119 e fornece o resíduo de predição D para a unidade de transformação 112.

[00101] Com base nas informações de transformação Tinfo fornecidas a partir da unidade de controle 101, a unidade de transformação 112 realiza transformação ortogonal ou similar no resíduo de predição D fornecido a partir da unidade de cálculo 111 e deriva um coeficiente de transformação Coeff. A unidade de transformação 112 fornece o coeficiente de transformação Coeff para a unidade de quantização 113.

Petição 870190062895, de 05/07/2019, pág. 29/149 / 102 [00102] Com base nas informações de transformação Tinfo fornecidas a partir da unidade de controle 101, a unidade de quantização 113 dimensiona (quantiza) o coeficiente de transformação Coeff fornecido a partir da unidade de transformação 112 e deriva um nível de nível de coeficiente de transformação de quantização. A unidade de quantização 113 fornece o nível de nível de coeficiente de transformação de quantização para a unidade de codificação 114 e a unidade de quantização inversa 115.

[00103] A unidade de codificação 114 codifica o nível de nível do coeficiente de transformação de quantização e similares fornecidos a partir da unidade de quantização 113 com um método predeterminado. Por exemplo, a unidade de codificação 114 transforma os parâmetros de codificação (informações de cabeçalho Hinfo, informações de predição Pinfo, informações de transformação Tinfo e similares) fornecidas pela unidade de controle 101 e o nível de nível do coeficiente de transformação de quantização fornecido pela unidade de quantização 113 em valores de sintaxe dos respectivos elementos de sintaxe ao longo de uma definição em uma tabela de sintaxe. Em seguida, a unidade de codificação 114 codifica cada valor de sintaxe (por exemplo, realiza codificação aritmética, tal como codificação aritmética binária adaptativa baseada em contexto (CABAC)).

[00104] A unidade de codificação 114 multiplexa, por exemplo, dados codificados que são uma cadeia de bits de cada elemento de sintaxe obtido como resultado da codificação, e envia os dados multiplexados como um fluxo codificado.

[00105] Com base nas informações de transformação Tinfo fornecidas a partir da unidade de controle 101, a unidade de quantização inversa 115 dimensiona (quantiza inversamente) um valor do nível de nível de coeficiente de transformação de quantização fornecido a partir da unidade de quantização 113 e deriva um coeficiente de transformação Coeff_IQ após quantização inversa. A unidade de quantização inversa 115 fornece o coeficiente de

Petição 870190062895, de 05/07/2019, pág. 30/149 / 102 transformação Coeff_IQ para a unidade de transformação inversa 116. A quantização inversa realizada pela unidade de quantização inversa 115 é o processamento inverso da quantização realizada pela unidade de quantização 113, e é um processamento similar à quantização inversa realizada em um dispositivo de decodificação de imagem como descrito mais adiante.

[00106] Com base nas informações de transformação Tinfo fornecidas a partir da unidade de controle 101, a unidade de transformação inversa 116 realiza transformação ortogonal e similar no coeficiente de transformação Coeff_IQ fornecido a partir da unidade de quantização inversa 115 e deriva um resíduo de predição D’. A unidade de transformação inversa 116 fornece o resíduo de predição D’ para a unidade de cálculo 117. A transformação ortogonal inversa realizada pela unidade de transformação inversa 116 é o processamento inverso da transformação ortogonal realizada pela unidade de transformação 112, e é um processamento similar à transformação ortogonal inversa realizada no dispositivo de decodificação de imagem como descrito mais adiante.

[00107] A unidade de cálculo 117 adiciona o resíduo de predição D’ fornecido a partir da unidade de transformação inversa 116 e a imagem predita P correspondente ao resíduo de predição D’ fornecido a partir da unidade de predição 119, para derivar uma imagem decodificada local Rec. A unidade de cálculo 117 fornece a imagem decodificada local Rec para a memória de quadro 118.

[00108] A memória de quadro 118 reconstrói uma imagem decodificada com base em gravura usando a imagem decodificada local Rec fornecida a partir da unidade de cálculo 117 e armazena a imagem decodificada em um buffer na memória de quadro 118. A memória de quadro 118 lê uma imagem decodificada especificada pela unidade de predição 119 como uma imagem de referência do buffer e fornece a imagem à unidade de predição 119. Além disso, a memória de quadro 118 pode armazenar as

Petição 870190062895, de 05/07/2019, pág. 31/149 / 102 informações de cabeçalho Hinfo, as informações do modo de predição Pinfo, as informações de transformação Tinfo e similares relacionadas à geração da imagem decodificada no buffer na memória de quadro 118.

[00109] Com base nas informações de modo pred_mode_flag das informações de predição Pinfo, a unidade de predição 119 adquire, como imagem de referência, a imagem decodificada ao mesmo tempo que a da CU a ser codificada armazenada na memória de quadro 118. Depois, usando a imagem de referência, a unidade de predição 119 executa, na PU a ser codificada, o processamento de intrapredição no modo de intrapredição indicado pelas informações do modo de intrapredição.

[00110] Além disso, com base nas informações de modo pred_mode_flag das informações de predição Pinfo e nas informações de especificação de imagem de referência, a unidade de predição 119 adquire, como imagem de referência, uma imagem decodificada em um momento diferente do da CU a ser codificada armazenada na memória de quadro 118. Com base no sinalizador Fusão, no sinalizador Afim e nas informações do vetor de movimento, a unidade de predição 119 realiza a compensação de movimento no modo de translação ou no modo de transformação afim e realiza o processamento de interpredição no modo de fusão ou no modo de AMVP, na imagem de referência.

[00111] A unidade de previsão 119 fornece a imagem predita P da PU a ser codificada gerada como resultado do processamento de intrapredição ou processamento de interpredição para a unidade de cálculo 111 e a unidade de cálculo 117.

(Descrição de duas informações de vetor de movimento) [00112] A Fig. 11 é um diagrama que descreve duas informações de vetores de movimento definidas com base na RDO pela unidade de controle 101.

[00113] Como ilustrado em A da Fig. 11, em um caso em que uma PU

Petição 870190062895, de 05/07/2019, pág. 32/149 / 102

121 a ser predita é um retângulo lateralmente alongado em que o tamanho W na direção x é grande quando comparado com o tamanho H na direção y, a unidade de controle 101 define informações de vetor de movimento do vetor de movimento v₀ do vértice esquerdo superior A da PU 121 e do vetor de movimento vi do vértice direito superior B, com base na RDO. Em outras palavras, com base na RDO, a unidade de controle 101 define as informações de vetor de movimento dos vetores de movimento v₀ e vi dos dois vértices A e B arranjados na direção x que é uma direção de um lado com um tamanho W maior fora do tamanho H e do tamanho W.

[00114] Dessa forma, a unidade de predição 119 realiza a transformação afim no bloco 122 na imagem de referência em um momento diferente do da PU 121 com base no vetor de movimento v₀ e no vetor de movimento vi correspondente ao conjunto de duas informações de vetor de movimento, gerando assim uma imagem predita da PU 121. Deve-se observar que, o bloco 122 é um bloco com o ponto A’ separado do vértice A pelo vetor de movimento v₀ como o vértice esquerdo superior, e o ponto B’ separado do vértice B pelo vetor de movimento vi como o vértice direito superior.

[00115] Aqui, como ilustrado em A da Fig. 11, quando o erro eo ocorre no vetor de movimento v₀ e o erro ei ocorre no vetor de movimento vi, a unidade de predição 119 realiza a transformação afim no bloco 123 na imagem de referência com base nos vetores de movimento v₀ + eo e no vetor de movimento vi + ei, gerando assim a imagem predita da PU 121. Deve-se observar que, o bloco 123 é um bloco com o ponto A” separado do vértice A pelo vetor de movimento v₀ + eo como o vértice esquerdo superior, e o ponto B” separado do vértice B pelo vetor de movimento vi + ei como o vértice direito superior.

[00116] Um erro do vetor de movimento v de cada um dos blocos de compensação de movimento da PU 121 é influenciado pelo erro eo do vetor de movimento v₀ e o erro ei do vetor de movimento vi usado para o cálculo

Petição 870190062895, de 05/07/2019, pág. 33/149 / 102 do vetor de movimento v. Além disso, a influência é maior à medida que a distância aumenta a partir do vértice A correspondente ao vetor de movimento v₀ e o vértice B correspondente ao vetor de movimento vi.

[00117] No entanto, em A da Fig. 11, já que o vértice A e o vértice B são arranjados na direção x que é a direção do lado longo da PU 121, a distância entre o vértice A e o vértice C voltado para o vértice A, e uma distância entre o vértice B e o vértice D voltado para o vértice B são pequenas. Assim, um desvio entre o bloco 122 e o bloco 123 toma-se pequeno em comparação com um caso em que a transformação afim é realizada com base nos vetores de movimento dos vértices A e C arranjados na direção do lado curto da PU 121.

[00118] Por outro lado, como ilustrado em B da Fig. 11, em um caso em que uma PU 121 a ser predita é um retângulo longitudinalmente alongado em que o tamanho H na direção y é grande quando comparado com o tamanho W na direção x, a unidade de controle 101 define informações de vetor de movimento do vetor de movimento v₀ do vértice esquerdo superior A da PU 131 e do vetor de movimento v₂ do vértice esquerdo inferior C, com base na RDO. Em outras palavras, com base na RDO, a unidade de controle 101 define as informações de vetor de movimento dos vetores de movimento v₀ e v₂ dos dois vértices A e C arranjados na direção y que é uma direção de um lado com um tamanho H maior fora do tamanho W e do tamanho H.

[00119] Dessa forma, a unidade de predição 119 realiza a transformação afim no bloco 132 na imagem de referência em um momento diferente do da PU 131 com base no vetor de movimento v₀ e no vetor de movimento v₂ correspondente ao conjunto de duas informações de vetor de movimento, gerando assim uma imagem predita da PU 131. Deve-se observar que, o bloco 132 é um bloco com o ponto A’ separado do vértice A pelo vetor de movimento v₀ como o vértice esquerdo superior, e o ponto C’ separado do vértice C pelo vetor de movimento v₂ como o vértice esquerdo inferior.

Petição 870190062895, de 05/07/2019, pág. 34/149 / 102 [00120] Aqui, como ilustrado em B da Fig. 11, quando o erro eo ocorre no vetor de movimento v₀ e o erro e₂ ocorre no vetor de movimento v₂, a unidade de predição 119 realiza a transformação afim no bloco 133 na imagem de referência com base nos vetores de movimento v₀ + eo e no vetor de movimento v₂ + e₂, gerando assim a imagem predita da PU 131. Deve-se observar que, o bloco 133 é um bloco com o ponto A” separado do vértice A pelo vetor de movimento v₀ + eo como o vértice esquerdo superior, e o ponto C” separado do vértice C pelo vetor de movimento v₂ + e₂ como o vértice esquerdo inferior.

[00121] Nesse caso, o vetor de movimento v(v_x, v_y) de cada um dos blocos de compensação de movimento da PU 131 é obtido por uma expressão (2) abaixo, e o erro do vetor de movimento v é influenciado pelo erro eo do vetor de movimento v₀ e o erro e₂ do vetor de movimento v₂ usado para o cálculo do vetor de movimento v. Além disso, a influência é maior à medida que a distância aumenta a partir do vértice A correspondente ao vetor de movimento v₀ e o vértice C correspondente ao vetor de movimento v₂. [Expressão 2] (V₂y-V_Oy) (V_2x-V_Ox) ^vx= ----yj----x+----jj----y+VOx (V2x-Vox) J^v2y^+v0y)

Vy---yy----X +----H----y+VOy [00122] No entanto, em B da Fig. 11, já que o vértice A e o vértice C são arranjados na direção y que é a direção do lado longo da PU 131, uma distância entre o vértice A e o vértice B voltado para o vértice A, e uma distância entre o vértice Ceo vértice D voltado para o vértice C são pequenas. Assim, um desvio entre o bloco 132 e o bloco 133 toma-se pequeno em comparação com um caso em que a transformação afim é realizada com base nos vetores de movimento dos vértices A e B arranjados na direção do lado curto da PU 131.

[00123] Deve-se observar que, em um caso onde nenhum erro ocorre

Petição 870190062895, de 05/07/2019, pág. 35/149 / 102 nos vetores de movimento v₀ a v₂, uma imagem predita gerada por transformação afim com base no vetor de movimento v₀ e no vetor de movimento vi e uma imagem predita gerada por transformação afim com base no vetor de movimento v₀ e no vetor de movimento v₀ e no vetor de movimento v₂ são iguais uma à outra.

(Descrição do vetor adjacente) [00124] A Fig. 12 é um diagrama que descreve vetores adjacentes como candidatos para vetores de predição.

[00125] A unidade de predição 119 gera um vetor adjacente para ser um candidato para um vetor de predição pv₀ do vetor de movimento v₀ do vértice esquerdo superior A na PU 151 a ser predita da Fig. 12 com base em um vetor de movimento de um bloco a que é uma PU codificada na parte superior esquerda de uma PU 151 com o vértice A como um vértice, um bloco b que é uma PU codificada no lado superior, ou um bloco c que é uma PU codificada no lado esquerdo.

[00126] Além disso, a unidade de predição 119 gera um vetor adjacente para ser um candidato para um vetor de predição pvi do vetor de movimento vi do vértice direito superior B na PU 151 com base em um bloco d que é uma PU codificada no lado superior da PU 151 com o vértice B, ou um bloco e que é uma PU codificada no lado direito superior.

[00127] A unidade de predição 119 gera um vetor adjacente para ser um candidato para um vetor de predição pv₂ do vetor de movimento v₂ do vértice C com base em um bloco f que é uma PU codificada no lado esquerdo da PU 151 com o vértice C como um vértice, ou um bloco g que é uma PU codificada no lado esquerdo inferior. Deve-se observar que os vetores de movimento dos blocos a a g, cada um, são um vetor de movimento para o bloco mantido na unidade de predição 119.

[00128] Como resultado do exposto acima, existem 12 (= 3 x 2 x 2) combinações de candidatos de vetores de movimento a serem usados para

Petição 870190062895, de 05/07/2019, pág. 36/149 / 102 geração de vetores adjacentes para serem candidatos aos vetores de predição pv₀ a pv₂. A unidade de predição 119 seleciona uma combinação na qual um DV obtido por uma expressão (3) abaixo se toma a menor das 12 combinações dos candidatos, como uma combinação dos vetores de movimento a serem usados para geração dos vetores adjacentes para serem candidatos para os vetores de predição pv₀ a pv₂.

[Expressão 3]

DV = | (v, _x’-v_Ox’) H- (v_2y’ -v_Oy’) W | +1 (v_1y’-v_Oy’) H- (v_2x’ -v_Ox’) WI • · · (3) [00129] Deve-se observar que vetores de movimento na direção x e direção y de qualquer um dos blocos a a c a serem usados para geração do vetor de predição pvO são representados por v_Ox’ e v_Oy’, respectivamente. Vetores de movimento na direção x e direção y de qualquer um dos blocos d e e a serem usados na geração do vetor de predição pvi são representados por vix’ e vi_y’, respectivamente. Vetores de movimento na direção x e direção y de qualquer um dos blocos f e g a serem usados para geração do vetor de predição pv₂ são v_2x’ e v_2y’, respectivamente.

[00130] De acordo com a expressão (3), o DV toma-se pequeno em um caso em que outro que não a inclinação que é impossível pela transformação afim com base nos dois vetores de movimento seja realizado por transformação afim com base nos vetores de movimento v₀’(v_0x’, v_Oy’) a V₂’(v_2x’, v_2y’).

(Descrição de codificação de sinalizador Afim) [00131] A Fig. 13 é um exemplo que ilustra uma região de uma CU (PU) cujo sinalizador Afim é definido como 1.

[00132] Deve-se observar que, na Fig. 13, cada retângulo branco em uma imagem 170 representa uma CU (PU) cujo sinalizador Afim é definido como 0, e cada retângulo tracejado representa uma CU (PU) cujo sinalizador Afim é definido como 1. Além disso, na Fig. 13, apenas algumas das CUs na

Petição 870190062895, de 05/07/2019, pág. 37/149 / 102 imagem 170 são ilustradas para facilitar a visualização do desenho.

[00133] Como ilustrado na Fig. 13, presume-se que uma região 171 da CU (PU) cujo sinalizador Afim é definido como 1 na imagem 170 existe coletivamente.

[00134] Assim, por exemplo, como ilustrado em A da Fig. 14, em um caso onde há uma PU 191 lateralmente alongada na qual o tamanho W é grande quando comparado com o tamanho H, quando os sinalizadores Afim são definidos como 1 dos blocos a a e adjacentes ao vértice A e ao vértice B do lado superior na direção x da PU 191, existe uma grande possibilidade de que o lado inferior da PU 191 seja um limite 192 da região 171. Portanto, há uma grande possibilidade de que o sinalizador Afim da PU 191 seja definido como 1.

[00135] Além disso, como ilustrado em B da Fig. 14, quando os sinalizadores Afim são definidos como 1 dos blocos f e g adjacentes ao vértice C do lado inferior na direção x da PU 191, existe uma grande possibilidade de que o lado superior da PU 191 seja o limite 192. Portanto, há uma grande possibilidade de que o sinalizador Afim da PU 191 seja definido como 1.

[00136] Por outro lado, como ilustrado em A da Fig. 15, em um caso onde há uma PU 193 longitudinalmente alongada na qual o tamanho H é grande quando comparado com o tamanho W, quando os sinalizadores Afim são definidos como 1 dos blocos a a c, f, e g adjacentes ao vértice A e ao vértice C do lado esquerdo na direção y da PU 193, existe uma grande possibilidade de que o lado direito da PU 193 seja um limite 194 da região 171. Portanto, há uma grande possibilidade de que o sinalizador Afim da PU 193 seja definido como 1.

[00137] Além disso, como ilustrado em B da Fig. 15, quando os sinalizadores Afim são definidos como 1 dos blocos d e e adjacentes ao vértice B do lado direito na direção y da PU 193, existe uma grande

Petição 870190062895, de 05/07/2019, pág. 38/149

30/102 possibilidade de que o lado esquerdo da PU 193 seja o limite 194. Portanto, há uma grande possibilidade de que o sinalizador Afim da PU 193 seja definido como 1.

[00138] A unidade de codificação 114, portanto, alterna contextos de um modelo de probabilidade de CABAC do sinalizador Afim da PU com base em se o sinalizador Afim é ou não definido como 1 de uma PU adjacente adjacente a um vértice de um lado em uma direção de um lado com um tamanho maior fora do tamanho W na direção x e o tamanho H na direção y da PU (CU).

[00139] Especificamente, em um caso em que o sinalizador Afim da PU 191 lateralmente alongada é codificado com CABAC, quando os sinalizadores Afim são definidos como 1 em valor igual a ou maior que um número predeterminado de blocos dos blocos a a e, ou dos blocos f e g, a unidade de codificação 114 usa que existe uma grande possibilidade de o sinalizador Afim ser definido como 1, como o contexto do modelo de probabilidade.

[00140] Por outro lado, quando os sinalizadores Afim são definidos como 1 em menos do que o número predeterminado de blocos dos blocos a a e, ou os blocos f e g, a unidade de codificação 114 usa que existe uma possibilidade baixa de o sinalizador Afim ser definido como 1, como o contexto do modelo de probabilidade.

[00141] Além disso, em um caso em que o sinalizador Afim da PU 193 longitudinalmente alongada é codificado com CABAC, quando os sinalizadores Afim são definidos como 1 em igual a ou maior que o número predeterminado de blocos dos blocos a a c, f, e g, ou os blocos d e e, a unidade de codificação 114 usa que existe uma grande possibilidade de o sinalizador Afim ser definido como 1, como o contexto do modelo de probabilidade.

[00142] Por outro lado, quando os sinalizadores Afim são definidos

Petição 870190062895, de 05/07/2019, pág. 39/149

31/102 como 1 em menos que um número predeterminado de blocos dos blocos a a c, f, e g, ou os blocos d e e, a unidade de codificação 114 usa que existe uma possibilidade baixa de o sinalizador Afim ser definido como 1, como o contexto do modelo de probabilidade.

[00143] Além disso, em um caso em que a PU é um quadrado, quando os sinalizadores Afim são definidos como 1 em valor igual a ou maior que o número predeterminado de blocos dos blocos a a e, a unidade de codificação 114 usa que existe uma grande possibilidade de o sinalizador Afim ser definido como 1, como o contexto do modelo de probabilidade.

[00144] Por outro lado, quando os sinalizadores Afim são definidos como 1 em menos do que o número predeterminado de blocos dos blocos a a e, a unidade de codificação 114 usa que existe uma possibilidade baixa de o sinalizador Afim ser definido como 1, como o contexto do modelo de probabilidade.

[00145] Em seguida, em um caso em que o sinalizador Afim é codificado com CABAC usando que existe uma grande possibilidade de que o sinalizador Afim seja definido como 1, como contexto do modelo de probabilidade, a unidade de codificação 114 realiza a codificação definindo o modelo de probabilidade de CABAC para que a probabilidade de ser 1 se tome alta. Como resultado, uma quantidade de código em um caso em que o sinalizador Afim está definido como 1 se torna pequena em comparação com uma quantidade de código em um caso em que o sinalizador Afim é definido como 0.

[00146] Além disso, em um caso em que o sinalizador Afim é codificado por CABAC usando que existe uma possibilidade baixa de que o sinalizador Afim seja definido como 1, como o contexto, a unidade de codificação 114 codifica o modelo de probabilidade de CABAC para que a probabilidade de ser 0 se tome alta. Como resultado, a quantidade de código no caso em que o sinalizador Afim está definido como 0 se toma pequena em

Petição 870190062895, de 05/07/2019, pág. 40/149

32/102 comparação com a quantidade de código no caso em que o sinalizador Afim é definido como 1.

[00147] Como resultado, a unidade de codificação 114 pode reduzir a quantidade de código do sinalizador Afim que é a sobrecarga, e melhorar a eficiência da codificação.

[00148] Deve-se observar que os contextos podem ser comutados pelo número de blocos nos quais o sinalizador Afim é definido como 1, em vez de serem comutados dependendo se o número de blocos cujo sinalizador Afim é definido como 1 for igual a ou maior que um número predeterminado. Nesse caso, por exemplo, a probabilidade de ser 1 no modelo de probabilidade do CABAC é alterada dependendo do número de blocos cujo sinalizador Afim é definido como 1.

[00149] Além disso, a unidade de codificação 114 pode comutar códigos (cadeias de bits) a serem atribuídos ao sinalizador Afim, em vez de comutar os contextos do modelo de probabilidade de CABAC com base nos sinalizadores Afim dos blocos a a g.

[00150] Nesse caso, a unidade de codificação 114 define um comprimento de código (comprimento de bit) do código a ser atribuído ao sinalizador Afim definido como 1 para ser curto em comparação com o sinalizador Afim definido como 0, em vez de definir o modelo de probabilidade de CABAC para que a probabilidade de ser 1 se torne alta. Além disso, a unidade de codificação 114 define o comprimento de código do código a ser atribuído ao sinalizador Afim definido como 0 para ser curto em comparação com o sinalizador Afim definido como 1, em vez de definir o modelo de probabilidade de CABAC para que a probabilidade de ser 0 se tome alta.

(Descrição do processamento do dispositivo de processamento de imagem) [00151] A Fig. 16 é um fluxograma que descreve o processamento de codificação de imagem no dispositivo de codificação de imagem 100 da Fig.

Petição 870190062895, de 05/07/2019, pág. 41/149 / 102

10.

[00152] Na etapa Sil da Fig. 16, a unidade de controle 101 define os parâmetros de codificação (informações de cabeçalho Hinfo, informações de predição Pinfo, informações de transformação Tinfo e similares) com base na entrada a partir do exterior, da RDO e similares. A unidade de controle 101 fornece os parâmetros de codificação definidos para cada bloco.

[00153] Na etapa SI2, a unidade de predição 119 determina se as informações de modo pred_mode_flag das informações de predição Pinfo indicam ou não o processamento de interpredição. Em um caso em que é determinado na etapa S12 que o processamento de interpredição é indicado, na etapa SI3, a unidade de predição 119 determina se o sinalizador Fusão das informações de predição Pinfo é ou não definido como 1.

[00154] Em um caso em que é determinado na etapa S13 que o sinalizador Fusão é definido como 1, na etapa S14, a unidade de predição 119 determina se o sinalizador Afim das informações de predição Pinfo é ou não definido como 1. Em um caso em que é determinado na etapa S14 que o sinalizador Afim é definido como 1, o processamento prossegue para a etapa S15.

[00155] Na etapa S15, a unidade de predição 119 realiza o processamento de codificação de modo de transformação afim de fusão que codifica a imagem I a ser codificada, usando a imagem predita P gerada realizando compensação de movimento no modo de transformação afim e realizando o processamento de interpredição no modo de fusão. Detalhes do processamento de codificação do modo de transformação afim de fusão serão descritos com referência à Fig. 19, como descrito mais tarde. Após o término do processamento de codificação do modo de transformação afim de fusão, o processamento de codificação de imagem é terminado.

[00156] Por outro lado, em um caso em que é determinado na etapa S14 que o sinalizador Afim não é definido como 1, em outras palavras, em

Petição 870190062895, de 05/07/2019, pág. 42/149 / 102 um caso em que o sinalizador Afim é definido como 0, o processamento prossegue para a etapa S16.

[00157] Na etapa S16, a unidade de predição 119 realiza o processamento de codificação de modo de fusão que codifica a imagem I a ser codificada, usando a imagem predita P gerada realizando compensação de movimento no modo de translação e realizando o processamento de interpredição no modo de fusão. Após o término do processamento de codificação do modo de fusão, o processamento de codificação de imagem é terminado.

[00158] Além disso, em um caso em que é determinado na etapa S13 que o sinalizador Fusão não é definido como 1, em outras palavras, em um caso em que o sinalizador Fusão é definido como 0, na etapa S17, a unidade de predição 119 determina se o sinalizador Afim das informações de predição Pinfo é ou não definido como 1. Em um caso em que é determinado na etapa S17 que o sinalizador Afim é definido como 1, o processamento prossegue para a etapa SI8.

[00159] Na etapa SI8, a unidade de predição 119 realiza o processamento de codificação de modo de transformação afim de AMVP que codifica a imagem I a ser codificada, usando a imagem predita P gerada realizando compensação de movimento no modo de transformação afim e realizando o processamento de interpredição no modo de AMVP. Detalhes do processamento de codificação do modo de transformação afim de AMVP serão descritos com referência à Fig. 20, como descrito mais tarde. Após o término do processamento de codificação do modo de transformação afim de AMVP, o processamento de codificação de imagem é terminado.

[00160] Por outro lado, em um caso em que é determinado na etapa S17 que o sinalizador Afim não é definido como 1, em outras palavras, em um caso em que o sinalizador Afim é definido como 0, o processamento prossegue para a etapa S19.

Petição 870190062895, de 05/07/2019, pág. 43/149 / 102 [00161] Na etapa S19, a unidade de predição 119 realiza ο processamento de codificação de modo de AMVP que codifica a imagem I a ser codificada, usando a imagem predita P gerada realizando compensação de movimento no modo de translação e realizando o processamento de interpredição no modo de AMVP. Após o término do processamento de codificação do modo de AMVP, o processamento de codificação de imagem é terminado.

[00162] Além disso, em um caso em que é determinado na etapa S12 que o processamento de interpredição não é indicado, em outras palavras, em um caso em que as informações de modo pred_mode_flag indicam o processamento de intrapredição, o processamento prossegue para a etapa S20. [00163] Na etapa S20, a unidade de predição 119 realiza o processamento de intracodificação que codifica a imagem I a ser codificada, usando a imagem predita P gerada pelo processamento de intrapredição. Então, o processamento de codificação de imagem é terminado.

[00164] A Fig. 17 é um fluxograma que descreve um primeiro exemplo de processamento de configuração de modo de processamento de interpredição que define o sinalizador Fusão e o sinalizador Afim, no processamento na etapa Sll da Fig. 16. O processamento de configuração de modo de processamento de interpredição é realizado na PU (CU), por exemplo.

[00165] Na etapa S41 da Fig. 17, a unidade de controle 101 controla cada bloco para executar o processamento de codificação de modo de fusão para cada informação de predição Pinfo diferente do sinalizador Fusão e sinalizador Afim a serem candidatos, na PU (CU) a ser processada, e calcula um custo de RD J_MRG. Deve-se observar que o cálculo do custo de RD é realizado com base em uma quantidade de bits gerada (quantidade de código) obtida como resultado da codificação, uma soma de erros de quadrados (SSE) da imagem decodificada e similares.

Petição 870190062895, de 05/07/2019, pág. 44/149 / 102 [00166] Na etapa S42, a unidade de controle 101 controla cada bloco para executar o processamento de codificação de modo de AMVP para cada informação de predição Pinfo diferente do sinalizador Fusão e sinalizador Afim a serem candidatos, na PU (CU) a ser processada, e calcula um custo de RD Jamvp· [00167] Na etapa S43, a unidade de controle 101 controla cada bloco para executar o processamento de codificação de modo de transformação afim de fusão para cada informação de predição Pinfo diferente do sinalizador Fusão e sinalizador Afim a serem candidatos, na PU (CU) a ser processada, e calcula um custo de RD Jmrgaffine· [00168] Na etapa S44, a unidade de controle 101 controla cada bloco para executar o processamento de codificação de modo de transformação afim de AMVP para cada informação de predição Pinfo diferente do sinalizador Fusão e sinalizador Afim a serem candidatos, na PU (CU) a ser processada, e calcula um custo de RD Jamvpaffine· [00169] Na etapa S45, a unidade de controle 101 determina se o custo de RD J_Mrg é ou não o menor dentre os custos de RD Jmrg, Jamvp, Jmrgaffine, e Jamvpaffine· [00170] Em um caso em que é determinado na etapa S45 que o custo de RD J_Mrg é o menor, na etapa S46, a unidade de controle 101 define o sinalizador Fusão da PU a ser processada como 1 e define o sinalizador Afim como 0. Em seguida, o processamento de configuração do modo de processamento de interpredição é terminado.

[00171] Em um caso em que é determinado na etapa S45 que o custo de RD J_Mrg não é o menor, o processamento prossegue para a etapa S47. Na etapa S47, a unidade de controle 101 determina se o custo de RD Jamvp é ou não o menor dentre os custos de RD Jmrg, Jamvp, Jmrgaffine, e Jamvpaffine· [00172] Em um caso em que é determinado na etapa S47 que o custo de RD Jamvp é o menor, na etapa S48, a unidade de controle 101 define o

Petição 870190062895, de 05/07/2019, pág. 45/149 / 102 sinalizador Fusão e o sinalizador Afim da PU a ser processada como 0 e termina o processamento de configuração de modo de processamento de interpredição.

[00173] Por outro lado, em um caso em que é determinado na etapa S47 que o custo de RD Jamvp não é o menor, o processamento prossegue para a etapa S49. Na etapa S49, a unidade de controle 101 determina se o custo de RD Jmrgaffine é ou não o menor dentre os custos de RD J_MRG, Jamvp, Jmrgaffine, e J am vp affine · [00174] Em um caso em que é determinado na etapa S49 que o custo de RD Jmrgaffine é o menor, na etapa S50, a unidade de controle 101 define o sinalizador Fusão e o sinalizador Afim da PU a ser processada como 1 e termina o processamento de configuração de modo de processamento de interpredição.

[00175] Por outro lado, em um caso em que é determinado na etapa S49 que o custo de RD Jmrgaffine não é o menor, em outras palavras, em um caso em que o custo de RD Jamvpaffine é o menor entre os custos de RD J_MRG, Jamvp, Jmrgaffine, e Jamvpaffine, θ processamento prossegue para a etapa S51. Na etapa S51, a unidade de controle 101 define o sinalizador Fusão da PU a ser processada como 0, e define o sinalizador Afim como 1. Em seguida, o processamento de configuração do modo de processamento de interpredição é terminado.

[00176] A Fig. 18 é um fluxograma que descreve um segundo exemplo do processamento de configuração de modo de processamento de interpredição que define o sinalizador Fusão e o sinalizador Afim, no processamento na etapa Sll da Fig. 16. O processamento de configuração de modo de processamento de interpredição é realizado na PU (CU), por exemplo.

[00177] Uma vez que o processamento nas etapas S71 e S72 da Fig. 18 é similar ao processamento nas etapas S41 e S42 da Fig. 17, a descrição será

Petição 870190062895, de 05/07/2019, pág. 46/149 / 102 omitida.

[00178] Na etapa S73, a unidade de controle 101 determina se o tamanho H na direção y da PU a ser processada é pequeno quando comparado com o tamanho W na direção x. No caso em que é determinado na etapa S73 que o tamanho H é pequeno quando comparado com o tamanho W, em outras palavras, em um caso em que a forma da PU a ser processada é um retângulo lateralmente alongado, o processamento prossegue para a etapa S74.

[00179] Na etapa S74, a unidade de controle 101 determina se os sinalizadores Afim são ou não definidos como 1 em valor igual a ou maior que o número predeterminado de blocos dos blocos a a e, ou dos blocos f e g adjacentes à PU a ser processada.

[00180] Em um caso em que é determinado na etapa S74 que os sinalizadores Afim são definidos como 1 em valor igual a ou maior que o número predeterminado de blocos dos blocos a a e, ou dos blocos f e g, a unidade de controle 101 determina que existe uma grande possibilidade de o sinalizador Afim da PU a ser processada ser definido como 1, e avança o processamento para a etapa S78.

[00181] Por outro lado, em um caso em que é determinado na etapa S73 que o tamanho H não é pequeno em comparação com o tamanho W, o processamento prossegue para a etapa S75. Na etapa S75, a unidade de controle 101 determina se o tamanho H na direção y da PU a ser processada é grande quando comparado com o tamanho W na direção x. No caso em que é determinado na etapa S75 que o tamanho H é grande quando comparado com o tamanho W, em outras palavras, em um caso em que a forma da PU a ser processada é um retângulo longitudinalmente alongado, o processamento prossegue para a etapa S76.

[00182] Na etapa S76, a unidade de controle 101 determina se os sinalizadores Afim são ou não definidos como 1 em valor igual a ou maior que o número predeterminado de blocos dos blocos a a c, f, e g, ou dos blocos

Petição 870190062895, de 05/07/2019, pág. 47/149 / 102 dee adjacentes à PU a ser processada.

[00183] Em um caso em que é determinado na etapa S76 que os sinalizadores Afim são definidos como 1 em valor igual a ou maior que o número predeterminado de blocos dos blocos a a c, f, e g, ou dos blocos d e e, a unidade de controle 101 determina que existe uma grande possibilidade de o sinalizador Afim da PU a ser processada ser definido como 1. Em seguida, a unidade de controle 101 avança o processamento para a etapa S78.

[00184] Por outro lado, em um caso em que é determinado na etapa S75 que o tamanho H não é grande quando comparado com o tamanho W, em outras palavras, em um caso em que o tamanho H e o tamanho W são os mesmos, o processamento prossegue para a etapa S77. Na etapa S77, a unidade de controle 101 determina se os sinalizadores Afim são ou não definidos como 1 em valor igual a ou maior que o número predeterminado de blocos dos blocos a a g adjacentes à PU a ser processada.

[00185] Em um caso em que é determinado na etapa S77 que os sinalizadores Afim são definidos como 1 em valor igual a ou maior que o número predeterminado de blocos dos blocos a a g, a unidade de controle 101 determina que existe uma grande possibilidade de o sinalizador Afim da PU a ser processada ser definido como 1, e avança o processamento para a etapa S78.

[00186] Uma vez que o processamento nas etapas S78 e S79 da Fig. 18 é similar ao processamento nas etapas S43 e S44 da Fig. 17, a descrição será omitida. Após o processamento da etapa S79, o processamento prossegue para a etapa S80.

[00187] Em um caso em que é determinado na etapa S74 que os sinalizadores Afim são definidos como 1 em valor menor que o número predeterminado de blocos dos blocos a a e, ou dos blocos f e g, a unidade de controle 101 determina que existe uma possibilidade baixa de o sinalizador Afim da PU a ser processada ser definido como 1. Em seguida, a unidade de

Petição 870190062895, de 05/07/2019, pág. 48/149 / 102 controle 101 salta as etapas S78 e S79, e avança o processamento para a etapa S80.

[00188] Além disso, em um caso em que é determinado na etapa S76 que os sinalizadores Afim são definidos como 1 em valor menor que o número predeterminado de blocos dos blocos a a c, f, e g, ou dos blocos d e e, a unidade de controle 101 determina que existe uma possibilidade baixa de o sinalizador Afim da PU a ser processada ser definido como 1. Em seguida, a unidade de controle 101 salta as etapas S78 e S79, e avança o processamento para a etapa S80.

[00189] Além disso, em um caso em que é determinado na etapa S77 que os sinalizadores Afim são definidos como 1 em valor menor que o número predeterminado de blocos dos blocos a a g, a unidade de controle 101 usa que existe uma possibilidade baixa de o sinalizador Afim da PU a ser processada ser definido como 1. Em seguida, a unidade de controle 101 salta as etapas S78 e S79, e avança o processamento para a etapa S80.

[00190] Na etapa S80, a unidade de controle 101 determina se o custo de RD J_Mrg é ou não o menor dentre os custos de RD calculados Jmrg, Jamvp, Jmrgaffine, e Jamvpaffine, ou os custos de RD Jmrg o Jamvp· [00191] Em um caso em que é determinado na etapa S80 que o custo de RD J_Mrg é o menor, na etapa S81, a unidade de controle 101 define o sinalizador Fusão da PU a ser processada como 1 e define o sinalizador Afim como 0. Em seguida, o processamento de configuração do modo de processamento de interpredição é terminado.

[00192] Em um caso em que é determinado na etapa S80 que o custo de RD Jmrg não é o menor, o processamento prossegue para a etapa S82. Na etapa S82, a unidade de controle 101 determina se é ou não o menor dentre os custos de RD calculados Jmrg, Jamvp, Jmrgaffine, e Jamvpaffine, ou os custos de RD Jmrg o Jamvp· [00193] Em um caso em que é determinado na etapa S82 que o custo

Petição 870190062895, de 05/07/2019, pág. 49/149 / 102 de RD Jamvp é o menor, na etapa S83, a unidade de controle 101 define o sinalizador Fusão e o sinalizador Afim da PU a ser processada como 0 e termina o processamento de configuração de modo de processamento de interpredição.

[00194] Por outro lado, em um caso em que é determinado na etapa S82 que o custo de RD Jamvp não é o menor, o processamento prossegue para a etapa S84. Na etapa S84, a unidade de controle 101 determina se o custo de RD Jmrgaffine é ou não o menor dentre os custos de RD calculados Jmrg, Jamvp, Jmrgaffine, e Jamvpaffine, ou os custos de RD Jmrg o Jamvp· [00195] Em um caso em que é determinado na etapa S84 que o custo de RD Jmrgaffine é o menor, na etapa S85, a unidade de controle 101 define o sinalizador Fusão e o sinalizador Afim da PU a ser processada como 1 e termina o processamento de configuração de modo de processamento de interpredição.

[00196] Por outro lado, em um caso em que é determinado na etapa S84 que o custo de RD Jmrgaffine não é o menor, em outras palavras, o custo de RD Jamvpaffine é o menor entre os custos de RD calculados Jmrg, Jamvp, Jmrgaffine, e Jamvpaffine, ou os custos de RD Jmrg e Jamvp, θ processamento prossegue para a etapa S86. Na etapa S86, a unidade de controle 101 define o sinalizador Fusão da PU a ser processada como 0, e define o sinalizador Afim como 1. Em seguida, o processamento de configuração do modo de processamento de interpredição é terminado.

[00197] Como descrito acima, no processamento de configuração do modo de processamento de interpredição da Fig. 18, presume-se que a região da PU cujo sinalizador Afim é definido como 1 exista coletivamente na imagem como descrito com referência à Fig. 13, e o processamento das etapas S78 e S79 é realizado apenas em um caso em que os sinalizadores Afim sejam definidos como 1 em valor igual a ou maior que o número predeterminado de blocos adjacentes à PU a ser processada. Assim, uma quantidade de cálculo

Petição 870190062895, de 05/07/2019, pág. 50/149 / 102 pode ser reduzida em comparação com o processamento de configuração do modo de processamento de interpredição da Fig. 17.

[00198] A Fig. 19 é um fluxograma que descreve o processamento de codificação de modo de transformação afim de fusão. O processamento de configuração de modo de transformação afim de fusão é realizado na CU (PU), por exemplo.

[00199] Na etapa S101 da Fig. 19, a unidade de predição 119 determina se o tamanho H da PU a ser processada é ou não grande em comparação com o tamanho W. Em um caso em que é determinado na etapa S101 que o tamanho H da PU a ser processada é grande em comparação com o tamanho W, em outras palavras, em um caso em que a forma da PU a ser processada é um retângulo longitudinalmente alongado, o processamento prossegue para a etapa S102.

[00200] Na etapa SI02, a unidade de predição 119 determina o vetor de predição pv₀ e o vetor de predição pv₂ com base nas informações do vetor de predição. Especificamente, em um caso em que as informações do vetor de predição são informações que especificam o vetor adjacente, a unidade de predição 119 calcula os DVs de todas as combinações dos vetores de movimento a serem usados para geração dos vetores adjacentes para serem os vetores de predição pv₀ a pv₂ com base nos vetores de movimento retidos dos blocos a a g. Então, a unidade de predição 119 determina o vetor de predição pv₀ e o vetor de predição pv₂ usando uma combinação de vetores de movimento em que o DV se toma o menor. Em seguida, o processamento prossegue para a etapa S104.

[00201] Por outro lado, em um caso em que é determinado na etapa S101 que o tamanho H da PU a ser processada não é grande quando comparado com o tamanho W, em outras palavras, em um caso em que a forma da PU a ser processada é um quadrado ou um retângulo lateralmente alongado, o processamento prossegue para a etapa S103.

Petição 870190062895, de 05/07/2019, pág. 51/149 / 102 [00202] Na etapa S103, a unidade de predição 119 determina o vetor de predição pv₀ e o vetor de predição pvi com base nas informações do vetor de predição. Especificamente, em um caso em que as informações do vetor de predição são informações que especificam o vetor adjacente, a unidade de predição 119 calcula os DVs de todas as combinações dos vetores de movimento a serem usados para geração dos vetores adjacentes para serem os vetores de predição pv₀ a pv₂ com base nos vetores de movimento retidos dos blocos a a g. Então, a unidade de predição 119 determina o vetor de predição pv₀ e o vetor de predição pvi usando uma combinação de vetores de movimento em que o DV se toma o menor. Em seguida, o processamento prossegue para a etapa S104.

[00203] Deve-se observar que, em um caso em que o tamanho H é o mesmo que o tamanho W, em outras palavras, em um caso em que a forma da PU a ser processada é um quadrado, a unidade de predição 119 pode realizar o processamento da etapa S102 em vez do processamento da etapa S103.

[00204] Na etapa S104, a unidade de predição 119 calcula o vetor de movimento v de cada um dos blocos de compensação de movimento pela expressão (1) ou (2) descrita acima usando cada um dos vetores de predição determinados na etapa S102 ou SI03 como vetor de movimento da PU a ser processada.

[00205] Especificamente, em um caso em que o vetor de predição pv₀ e o vetor de predição pv₂ são determinados na etapa S102, a unidade de predição 119 usa o vetor de predição pv₀ como o vetor de movimento v₀ e o vetor de predição pv₂ como o vetor de movimento v₂, e calcula o vetor v pela expressão (2).

[00206] Por outro lado, em um caso em que o vetor de predição pv₀ e o vetor de predição pvi são determinados na etapa S103, a unidade de predição 119 usa o vetor de predição pv₀ como o vetor de movimento v₀ e o vetor de predição pvi como o vetor de movimento vi, e calcula o vetor de movimento

Petição 870190062895, de 05/07/2019, pág. 52/149 / 102 v pela expressão (1).

[00207] Na etapa S105, a unidade de predição 119 traduz um bloco da imagem de referência especificada pelas informações de especificação de imagem de referência armazenadas na memória de quadro 118 com base no vetor de movimento v para cada um dos blocos de compensação de movimento, realizando assim a transformação afim na imagem de referência. A unidade de predição 119 fornece a imagem de referência submetida à compensação de movimento por transformação afim como a imagem predita P para a unidade de cálculo 111 e a unidade de cálculo 117.

[00208] Na etapa S106, a unidade de cálculo 111 calcula uma diferença entre a imagem I e a imagem predita P como o resíduo de predição D, e fornece a diferença para a unidade de transformação 112. Uma quantidade de dados é reduzida do resíduo de predição D obtido desse modo em comparação com a imagem original I. Assim, a quantidade de dados pode ser comprimida quando comparada com um caso em que a imagem I é diretamente codificada. [00209] Na etapa S107, a unidade de transformação 112 realiza transformação ortogonal e similares no resíduo de predição D fornecido a partir da unidade de cálculo 111 com base nas informações de transformação Tinfo fornecidas a partir da unidade de controle 101, e deriva o coeficiente de transformação Coeff. A unidade de transformação 112 fornece o coeficiente de transformação Coeff para a unidade de quantização 113.

[00210] Na etapa S108, a unidade de quantização 113 dimensiona (quantiza) o coeficiente de transformação Coeff fornecido a partir da unidade de transformação 112 com base nas informações de transformação Tinfo fornecidas a partir da unidade de controle 101, e deriva o nível de nível de coeficiente de transformação de quantização. A unidade de quantização 113 fornece o nível de nível de coeficiente de transformação de quantização para a unidade de codificação 114 e a unidade de quantização inversa 115.

[00211] Na etapa SI09, com base nas informações de transformação

Petição 870190062895, de 05/07/2019, pág. 53/149 / 102

Tinfo fornecidas a partir da unidade de controle 101, a unidade de quantização inversa 115 quantiza inversamente um valor do nível de nível de coeficiente de transformação de quantização fornecido a partir da unidade de quantização 113, com uma característica de quantização correspondente a uma característica da quantização na etapa SI08. A unidade de quantização inversa 115 fornece o coeficiente de transformação Coeff_IQ obtido como resultado para a unidade de transformação inversa 116.

[00212] Na etapa SI 10, com base nas informações de transformação Tinfo fornecidas a partir da unidade de controle 101, a unidade de transformação inversa 116 realiza transformação ortogonal inversa ou similar com um método correspondente à transformação ortogonal ou similar na etapa SI07 no coeficiente de transformação Coeff_IQ fornecido a partir da unidade de quantização inversa 115 e deriva o resíduo de predição D’.

[00213] Na etapa SI 11, a unidade de cálculo 117 adiciona o resíduo de predição D’ derivado pelo processamento na etapa SI 10 à imagem predita P fornecida a partir da unidade de predição 119, gerando assim a imagem decodificada local Rec.

[00214] Na etapa SI 12, a memória de quadro 118 reconstrói a imagem decodificada com base em gravura usando a imagem decodificada local Rec obtida pelo processamento na etapa SI 11, e armazena a imagem decodificada no buffer na memória de quadro 118.

[00215] Na etapa SI 13, a unidade de codificação 114 codifica os parâmetros de codificação definidos pelo processamento na etapa Sll da Fig. 16 e o nível de nível do coeficiente de transformação de quantização obtido pelo processamento na etapa S108 com o método predeterminado. A unidade de codificação 114 multiplexa os dados codificados obtidos como resultado, e produz os dados como o fluxo codificado para o exterior do dispositivo de codificação de imagem 100. O fluxo codificado é transmitido para um lado de decodificação através de uma linha de transmissão ou um meio de gravação,

Petição 870190062895, de 05/07/2019, pág. 54/149 / 102 por exemplo.

[00216] Após o término do processamento na etapa SI 13, o processamento de codificação do modo de transformação afim de fusão é terminado.

[00217] A Fig. 20 é um fluxograma que descreve o processamento de codificação de modo de transformação afim de AMVP. O processamento de configuração de modo de transformação afim de AMVP é realizado, por exemplo, na CU (PU).

[00218] Uma vez que as etapas S131 a S133 da Fig. 20 são similares ao processamento nas etapas S101 a SI03 da Fig. 19, a descrição será omitida.

[00219] Na etapa SI34, a unidade de predição 119 adiciona cada um dos vetores de predição determinados na etapa SI32 ou SI33 e a diferença nas informações do vetor de movimento que corresponde ao vetor de predição, e calcula o vetor de movimento da PU a ser processada.

[00220] Especificamente, em um caso em que o vetor de predição pv₀ e o vetor de predição pv₂ são determinados na etapa SI32, a unidade de predição 119 adiciona o vetor de predição pv₀, e uma diferença dv₀ entre o vetor de predição pv₀ nas informações do vetor de movimento e o vetor de movimento da PU a ser processada. Então, a unidade de predição 119 estabelece o vetor de movimento obtido como resultado da adição como o vetor de movimento v₀ da PU a ser processada. Além disso, a unidade de predição 119 adiciona o vetor de predição pv₂ e a diferença dv₂ entre o vetor de predição pv₂ nas informações do vetor de movimento e o vetor de movimento da PU a ser processada, e define o vetor de movimento resultante obtido como o vetor de movimento v₂ da PU a ser processada.

[00221] Por outro lado, em um caso em que o vetor de predição pv₀ e o vetor de predição pvi são determinados na etapa S133, a unidade de predição 119 adiciona o vetor de predição pv₀ e a diferença dv₀, e define o vetor de

Petição 870190062895, de 05/07/2019, pág. 55/149 / 102 movimento obtido como resultado como o vetor de movimento v₀ da PU a ser processada. Além disso, a unidade de predição 119 adiciona o vetor de predição pvi e uma diferença dvi entre o vetor de predição pvi nas informações do vetor de movimento e o vetor de movimento da PU a ser processada, e define o vetor de movimento resultante obtido como o vetor de movimento vi da PU a ser processada.

[00222] Na etapa SI35, a unidade de predição 119 calcula o vetor de movimento v de cada um dos blocos de compensação de movimento pela expressão (1) ou (2) descrita acima usando o vetor de movimento da PU a ser processada calculado na etapa SI34.

[00223] Especificamente, em um caso em que o vetor de movimento v₀ e o vetor de movimento v₂ são determinados na etapa SI34, a unidade de predição 119 calcula o vetor de movimento v pela expressão (2) usando o vetor de movimento v₀ e o vetor de movimento v₂.

[00224] Por outro lado, em um caso em que o vetor de movimento v₀ e o vetor de movimento vi são determinados na etapa SI34, a unidade de predição 119 calcula o vetor de movimento v pela expressão (1) usando o vetor de movimento v₀ e o vetor de movimento vp [00225] Uma vez que o processamento nas etapas SI36 a SI44 é similar ao processamento nas etapas S105 a SI 13 da Fig. 19, a descrição será omitida.

[00226] A Fig. 21 é um fluxograma que descreve o processamento de codificação de sinalizador Afim que codifica o sinalizador Afim no processamento na etapa SI 13 da Fig. 19 e na etapa S144 da Fig. 20.

[00227] Uma vez que o processamento nas etapas S161 eS162da Fig. 21 é similar ao processamento nas etapas S73 e S74 da Fig. 18, exceto que o processamento é realizado pela unidade de codificação 114 em vez da unidade de predição 119, a descrição será omitida.

[00228] Em um caso em que é determinado na etapa SI62 que os

Petição 870190062895, de 05/07/2019, pág. 56/149 / 102 sinalizadores Afim são definidos como 1 em valor igual a ou maior que o número predeterminado de blocos dos blocos a a e, ou dos blocos f e g, a unidade de codificação 114 determina que existe uma grande possibilidade de o sinalizador Afim da PU a ser processada ser definido como 1. Em seguida, a unidade de codificação 114 avança o processamento para a etapa S163.

[00229] Na etapa S163, a unidade de codificação 114 codifica o sinalizador Afim com o CABAC usando que existe uma grande possibilidade de o sinalizador Afim ser definido como 1, como o contexto do modelo de probabilidade, e concluir o processamento de codificação do sinalizador Afim.

[00230] Por outro lado, em um caso em que é determinado na etapa S161 que o tamanho H não é menor que o tamanho W, o processamento prossegue para a etapa SI64. Uma vez que o processamento das etapas SI64 a S166 é similar às etapas S75 a S77 da Fig. 18, exceto que o processamento é realizado pela unidade de codificação 114 em vez da unidade de controle 101, a descrição será omitida.

[00231] Em um caso em que é determinado na etapa SI65 que os sinalizadores Afim são definidos como 1 em valor igual a ou maior que o número predeterminado de blocos dos blocos a a c, f, e g, ou dos blocos d e e, a unidade de codificação 114 determina que existe uma grande possibilidade de o sinalizador Afim da PU a ser processada ser definido como 1. Em seguida, a unidade de codificação 114 avança o processamento para a etapa S163.

[00232] Além disso, em um caso em que é determinado na etapa S166 que os sinalizadores Afim são definidos como 1 em valor igual a ou maior que o número predeterminado de blocos dos blocos a a g, a unidade de codificação 114 determina que existe uma grande possibilidade de o sinalizador Afim da PU a ser processada ser definido como 1. Em seguida, a unidade de codificação 114 avança o processamento para a etapa S163.

Petição 870190062895, de 05/07/2019, pág. 57/149 / 102 [00233] Por outro lado, em um caso em que é determinado na etapa SI62 que os sinalizadores Afim são definidos como 1 em valor menor que o número predeterminado de blocos dos blocos a a e, ou dos blocos f e g, a unidade de codificação 114 determina que existe uma possibilidade baixa de o sinalizador Afim da PU a ser processada ser definido como 1. Em seguida, a unidade de codificação 114 avança o processamento para a etapa SI67.

[00234] Além disso, em um caso em que é determinado na etapa S165 que os sinalizadores Afim são definidos como 1 em valor menor que o número predeterminado de blocos dos blocos a a c, f e g, ou blocos d e e, a unidade de codificação 114 determina que existe uma possibilidade baixa de o sinalizador Afim da PU a ser processada ser definido como 1. Em seguida, a unidade de codificação 114 avança o processamento para a etapa SI67.

[00235] Além disso, em um caso em que é determinado na etapa S166 que os sinalizadores Afim são definidos como 1 em valor menor que o número predeterminado de blocos dos blocos a a g, a unidade de codificação 114 usa que existe uma possibilidade baixa de o sinalizador Afim da PU a ser processada ser definido como 1. Em seguida, a unidade de codificação 114 avança o processamento para a etapa S167.

[00236] Na etapa SI67, a unidade de codificação 114 codifica o sinalizador Afim com o CABAC usando que existe uma possibilidade baixa de o sinalizador Afim ser definido como 1, como o contexto, e concluir o processamento de codificação do sinalizador Afim.

[00237] Como descrito acima, em um caso em que o processamento de interpredição por transformação afim é realizado, o dispositivo de codificação de imagem 100 gera a imagem predita P da PU com base em dois vetores de movimento de vértices arranjados em uma direção do lado que tem um tamanho maior fora do tamanho W na direção x e o tamanho H na direção y da PU. Assim, a influência na precisão da imagem predita P pode ser suprimida do erro gerado no vetor de movimento do vértice da PU retangular.

Petição 870190062895, de 05/07/2019, pág. 58/149

50/102 [00238] Como resultado, a imagem predita P de uma PU retangular pode ser gerada com alta precisão. Assim, em um caso em que o nível de nível do coeficiente de transformação de quantização não seja zero, uma quantidade de informações do nível de nível do coeficiente de transformação de quantização pode ser reduzida e a eficiência de codificação pode ser melhorada. Além disso, em um caso em que o nível de nível do coeficiente de transformação de quantização é zero, a qualidade de imagem da imagem decodificada pode ser melhorada.

[00239] Além disso, uma vez que o dispositivo de codificação de imagem 100 realiza a transformação afim com base em dois vetores de movimento, a sobrecarga pode ser reduzida e a eficiência de codificação pode ser melhorada em comparação com um caso em que a transformação afim é realizada com base em três vetores de movimento.

(Exemplo de configuração do dispositivo de decodificação de imagem) [00240] A Fig. 22 é um diagrama de blocos que ilustra um exemplo de configuração de uma modalidade do dispositivo de decodificação de imagem como o dispositivo de processamento de imagem ao qual a presente tecnologia é aplicada que decodifica o fluxo codificado gerado pelo dispositivo de codificação de imagem 100 da Fig. 10. Um dispositivo de decodificação de imagem 200 da Fig. 22 decodifica o fluxo codificado gerado pelo dispositivo de codificação de imagem 100 por um método de decodificação correspondente a um método de codificação no dispositivo de codificação de imagem 100. Por exemplo, o dispositivo de decodificação de imagem 200 implementa a tecnologia concebida para HEVC e a tecnologia concebida pela JVET.

[00241] Deve-se observar que, na Fig. 22, as partes principais de processamento, fluxos de dados e similares são ilustrados, e os ilustrados na Fig. 22 não são necessariamente todos. Isto é, no dispositivo de decodificação de imagem 200, pode haver uma parte de processamento não ilustrada como

Petição 870190062895, de 05/07/2019, pág. 59/149

51/102 um bloco na Fig. 22, ou um processamento ou fluxo de dados não ilustrado como uma seta ou similar na Fig. 22.

[00242] O dispositivo de decodificação de imagem 200 da Fig. 22 inclui uma unidade de decodificação 211, uma unidade de quantização inversa 212, uma unidade de transformação inversa 213, uma unidade de cálculo 214, uma memória de quadro 215 e uma unidade de predição 216. O dispositivo de codificação de imagem 100 decodifica o fluxo codificado gerado pelo dispositivo de codificação de imagem 100 para cada CU.

[00243] Especificamente, a unidade de decodificação 22 do dispositivo de decodificação de imagem 200 decodifica o fluxo codificado gerado pelo dispositivo de codificação de imagem 100 com um método de decodificação predeterminado correspondente a um método de codificação na unidade de codificação 114. Por exemplo, a unidade de decodificação 211 decodifica os parâmetros de codificação (informações de cabeçalho Hinfo, informações de predição Pinfo, informações de transformação Tinfo e similares) e o nível de nível do coeficiente de transformação de quantização de uma cadeia de bits do fluxo codificado ao longo da definição na tabela de sintaxe. A unidade de decodificação 211 divide uma LCU com base no sinalizador de divisão incluído nos parâmetros de codificação e define sequencialmente uma CU correspondendo a cada nível de nível de coeficiente de transformação de quantização como uma CU (PU, TU) a ser decodificada.

[00244] A unidade de decodificação 211 fornece os parâmetros de codificação para cada bloco. Por exemplo, a unidade de decodificação 211 fornece as informações de predição Pinfo à unidade de predição 216, fornece as informações de transformação Tinfo à unidade de quantização inversa 212 e à unidade de transformação inversa 213 e fornece as informações de cabeçalho Hinfo a cada bloco. Além disso, a unidade de decodificação 211 fornece o nível de nível de coeficiente de transformação de quantização para a unidade de quantização inversa 212.

Petição 870190062895, de 05/07/2019, pág. 60/149

52/102 [00245] Com base nas informações de transformação Tinfo fornecidas a partir da unidade de decodificação 211, a unidade de quantização inversa

212 dimensiona (quantiza inversamente) o valor do nível de nível de coeficiente de transformação de quantização fornecido a partir da unidade de decodificação 211 e deriva o coeficiente de transformação Coeff_IQ. A quantização inversa é o processamento inverso da quantização realizada pela unidade de quantização 113 (Fig. 10) do dispositivo de codificação de imagem 100. Deve-se observar que a unidade de quantização inversa 115 (Fig. 10) realiza quantização inversa similar à da unidade de quantização inversa 212. A unidade de quantização inversa 212 fornece o coeficiente de transformação obtido Coeff_IQ para a unidade de transformação inversa 213. [00246] A unidade de transformação 213 realiza transformação ortogonal inversa ou similar no coeficiente de transformação Coeff_IQ fornecido a partir da unidade de quantização inversa 212 com base nas informações de transformação Tinfo e similares fornecidas a partir da unidade de decodificação 211, e deriva o resíduo de predição D’. A transformação ortogonal inversa é o processamento inverso da transformação ortogonal realizada pela unidade de transformação 112 (Fig. 10) do dispositivo de codificação de imagem 100. Deve-se observar que a unidade de transformação inversa 116 realiza transformação ortogonal inversa similar à da unidade de transformação inversa 213. A unidade de transformação inversa

213 fornece o resíduo de predição D’ obtido para a unidade de cálculo 214.

[00247] A unidade de cálculo 214 adiciona o resíduo de predição D’ fornecido a partir da unidade de transformação inversa 213 e a imagem predita P correspondente ao resíduo de predição D’, para derivar a imagem decodificada local Rec. A unidade de cálculo 214 reconstrói a imagem decodificada para cada imagem usando a imagem decodificada local obtida Rec, e envia a imagem decodificada obtida para o exterior do dispositivo de decodificação de imagem 200. Além disso, a unidade de cálculo 214 fornece a

Petição 870190062895, de 05/07/2019, pág. 61/149 / 102 imagem decodificada local Rec também para a memória de quadro 215.

[00248] A memória de quadro 215 reconstrói a imagem decodificada para cada gravura usando a imagem decodificada local Rec fornecida a partir da unidade de cálculo 214 e armazena a imagem decodificada em um buffer na memória de quadro 215. A memória de quadro 215 lê a imagem decodificada especificada pela unidade de predição 216 do buffer como uma imagem de referência e fornece a imagem à unidade de predição 216. Além disso, a memória de quadro 215 pode armazenar as informações de cabeçalho Hinfo, as informações do modo de predição Pinfo, as informações de transformação Tinfo e similares relacionadas à geração da imagem decodificada no buffer na memória de quadro 215.

[00249] Com base nas informações de modo pred_mode_flag das informações de predição Pinfo, a unidade de predição 216 adquire, como imagem de referência, uma imagem decodificada ao mesmo tempo que a da CU a ser codificada armazenada na memória de quadro 215. Depois, usando a imagem de referência, a unidade de predição 216 executa, na PU a ser codificada, o processamento de intrapredição no modo de intrapredição indicado pelas informações do modo de intrapredição.

[00250] Além disso, com base nas informações de modo pred_mode_flag das informações de predição Pinfo e nas informações de especificação de imagem de referência, a unidade de predição 216 adquire, como imagem de referência, a imagem decodificada em um momento diferente do da CU a ser codificada armazenada na memória de quadro 215. De modo similar à unidade de predição 119 da Fig. 10, com base no sinalizador Fusão, no sinalizador Afim e nas informações do vetor de movimento, a unidade de predição 216 realiza, na imagem de referência, a compensação de movimento no modo de translação ou no modo de transformação afim e realiza o processamento de interpredição no modo de fusão ou no modo de AMVP. A unidade de previsão 216 fornece a imagem

Petição 870190062895, de 05/07/2019, pág. 62/149

54/102 predita P gerada como resultado do processamento de intrapredição ou processamento de interpredição para a unidade de cálculo 214.

(Processamento do dispositivo de decodificação de imagem) [00251] A Fig. 23 é um fluxograma que descreve o processamento de decodificação de imagem no dispositivo de decodificação de imagem 200 da Fig. 22.

[00252] Na etapa S201, a unidade de decodificação 211 decodifica o fluxo codificado fornecido ao dispositivo de decodificação de imagem 200 e obtém os parâmetros de codificação e o nível de nível do coeficiente de transformação de quantização. A unidade de decodificação 211 fornece os parâmetros de codificação para cada bloco. Além disso, a unidade de decodificação 211 fornece o nível de nível de coeficiente de transformação de quantização para a unidade de quantização inversa 212.

[00253] Na etapa S202, a unidade de decodificação 211 divide a LCU com base no sinalizador de divisão incluído nos parâmetros de codificação e define a CU correspondendo a cada nível de nível de coeficiente de transformação de quantização como a CU (PU, TU) a ser decodificada. O processamento nas etapas S203 a S211, como descrito mais adiante, é realizado para cada CU (PU, TU) a ser decodificada.

[00254] Uma vez que o processamento das etapas S203 a S205 é similar ao processamento das etapas S12 a S14 da Fig. 16, exceto que o processamento é realizado pela unidade de predição 216 em vez da unidade de predição 119, a descrição será omitida.

[00255] Em um caso em que é determinado na etapa S205 que o sinalizador Afim é definido como 1, o processamento prossegue para a etapa S206. Na etapa S206, a unidade de predição 216 realiza o processamento de decodificação de modo de transformação afim de fusão que decodifica uma imagem a ser decodificada usando a imagem predita P gerada realizando compensação de movimento no modo de transformação afim e realizando o

Petição 870190062895, de 05/07/2019, pág. 63/149 / 102 processamento de interpredição no modo de fusão. Detalhes do processamento de decodificação do modo de transformação afim de fusão serão descritos com referência à Fig. 24, como descrito mais tarde. Após o término do processamento de decodificação do modo de transformação afim de fusão, o processamento de decodificação de imagem é terminado.

[00256] Por outro lado, em um caso em que é determinado na etapa S205 que o sinalizador Afim não é definido como 1, em outras palavras, em um caso em que o sinalizador Afim é definido como 0, o processamento prossegue para a etapa S207. Na etapa S207, a unidade de predição 216 realiza o processamento de decodificação de modo de fusão que decodifica uma imagem a ser decodificada usando a imagem predita P gerada realizando compensação de movimento no modo de translação e realizando o processamento de interpredição no modo de fusão. Após o término do processamento de decodificação do modo de fusão, o processamento de decodificação de imagem é terminado.

[00257] Além disso, em um caso em que é determinado na etapa S204 que o sinalizador Fusão não é definido como 1, em outras palavras, em um caso em que o sinalizador Fusão é definido como 0, na etapa S208, a unidade de predição 216 determina se o sinalizador Afim das informações de predição Pinfo é ou não definido como 1. Em um caso em que é determinado na etapa S208 que o sinalizador Afim é definido como 1, o processamento prossegue para a etapa S209.

[00258] Na etapa S209, a unidade de predição 216 realiza o processamento de decodificação de modo de transformação afim de AMVP que decodifica uma imagem a ser decodificada usando a imagem predita P gerada realizando compensação de movimento no modo de transformação afim e realizando o processamento de interpredição no modo de AMVP. Detalhes do processamento de decodificação do modo de transformação afim de AMVP serão descritos com referência à Fig. 25, como descrito mais tarde.

Petição 870190062895, de 05/07/2019, pág. 64/149 / 102

Após o término do processamento de decodificação do modo de transformação afim de AMVP, o processamento de decodificação de imagem é terminado.

[00259] Por outro lado, em um caso em que é determinado na etapa S208 que o sinalizador Afim não é definido como 1, em outras palavras, em um caso em que o sinalizador Afim é definido como 0, o processamento prossegue para a etapa S210.

[00260] Na etapa S210, a unidade de predição 216 realiza o processamento de decodificação de modo de AMVP que decodifica uma imagem a ser decodificada usando a imagem predita P gerada realizando compensação de movimento no modo de translação e realizando o processamento de interpredição no modo de AMVP. Após o término do processamento de decodificação do modo de AMVP, o processamento de decodificação de imagem é terminado.

[00261] Além disso, em um caso em que é determinado na etapa S203 que o processamento de interpredição não é indicado, em outras palavras, em um caso em que as informações de modo pred_mode_flag indicam o processamento de intrapredição, o processamento prossegue para a etapa S211.

[00262] Na etapa S211, a unidade de predição 216 realiza o processamento de intradecodificação que decodifica uma imagem a ser decodificada usando a imagem predita P gerada pelo processamento de intrapredição. Então, o processamento de decodificação de imagem é terminado.

[00263] A Fig. 24 é um fluxograma que descreve o processamento de decodificação de modo de transformação afim de fusão na etapa S206 da Fig.

23.

[00264] Na etapa S231, a unidade de quantização inversa 212 quantiza inversamente o nível de nível do coeficiente de transformação de quantização

Petição 870190062895, de 05/07/2019, pág. 65/149 / 102 obtido pelo processamento na etapa S201 da Fig. 23 para derivar o coeficiente de transformação Coeff_IQ. A quantização inversa é o processamento inverso da quantização realizada na etapa S108 (Fig. 19) do processamento de codificação de imagem, e é processamento similar à quantização inversa realizada na etapa SI09 (Fig. 19) do processamento de codificação de imagem.

[00265] Na etapa S232, a unidade de transformação inversa 213 realiza transformação ortogonal inversa e similar no coeficiente de transformação Coeff_IQ obtido no processamento na etapa S231 e deriva o resíduo de predição D’. A transformação ortogonal inversa é o processamento inverso da transformação ortogonal realizada na etapa S107 (Fig. 19) do processamento de codificação de imagem, e é processamento similar à transformação ortogonal inversa realizada na etapa SI 10 (Fig. 19) do processamento de codificação de imagem.

[00266] Uma vez que o processamento nas etapas S233 a S237 é similar ao processamento nas etapas S101 a S105 da Fig. 19, exceto que o processamento é realizado pela unidade de predição 216 em vez da unidade de predição 119, a descrição será omitida.

[00267] Na etapa S238, a unidade de cálculo 214 adiciona o resíduo de predição D’ fornecido a partir da unidade de transformação inversa 213 à imagem predita P fornecida a partir da unidade de predição 216, e deriva a imagem decodificada local Rec. A unidade de cálculo 214 reconstrói a imagem decodificada para cada imagem usando a imagem decodificada local obtida Rec, e envia a imagem decodificada obtida para o exterior do dispositivo de decodificação de imagem 200. Além disso, a unidade de cálculo 214 fornece a imagem decodificada local Rec para a memória de quadro 215.

[00268] Na etapa S239, a memória de quadro 215 reconstrói a imagem decodificada para cada gravura usando a imagem decodificada local Rec

Petição 870190062895, de 05/07/2019, pág. 66/149 / 102 fornecida a partir da unidade de cálculo 214 e armazena a imagem decodificada no buffer na memória de quadro 215. Então, o processamento retorna à etapa S206 da Fig. 23, e o processamento de decodificação de imagem é terminado.

[00269] A Fig. 25 é um fluxograma que descreve o processamento de decodificação de modo de transformação afim de AMVP na etapa S209 da Fig. 23.

[00270] Uma vez que o processamento nas etapas S251 e S252 da Fig. 25 é similar ao processamento nas etapas S231 e S232 da Fig. 24, a descrição será omitida.

[00271] Uma vez que o processamento nas etapas S253 a S258 é similar ao processamento nas etapas S131 a SI36 da Fig. 20, exceto que o processamento é realizado pela unidade de predição 216 em vez da unidade de predição 119, a descrição será omitida.

[00272] Uma vez que o processamento nas etapas S259 e S260 da Fig. 18 é similar ao processamento nas etapas S238 e S239 da Fig. 24, a descrição será omitida.

[00273] Como descrito acima, em um caso em que o processamento de interpredição por transformação afim é realizado, o dispositivo de decodificação de imagem 200 gera a imagem predita P da PU com base em dois vetores de movimento de vértices arranjados em uma direção do lado que tem um tamanho maior fora do tamanho W na direção x e o tamanho H na direção y da PU. Assim, a influência na precisão da imagem predita P pode ser suprimida do erro gerado no vetor de movimento do vértice da PU retangular. Como resultado, a imagem predita P de uma PU retangular pode ser gerada com alta precisão.

[00274] Deve-se observar que, em um caso em que o dispositivo de codificação de imagem 100 e o dispositivo de decodificação de imagem 200 realizam processamento de predição intra-BC em vez do processamento de

Petição 870190062895, de 05/07/2019, pág. 67/149 / 102 intrapredição ou processamento de interpredição, a compensação de movimento no processamento de predição intra-BC pode ser realizada de modo similar à compensação de movimento no processamento de interpredição.

<Segunda modalidado (Descrição do computador ao qual a presente invenção é aplicada) [00275] Uma série de etapas de processamento descritas acima pode ser executada por hardware ou também pode ser executada por software. Em um caso em que a série de etapas de processamento é executada por software, um programa que constitui o software é instalado em um computador. Aqui, o computador inclui um computador incorporado em hardware dedicado, e um computador capaz de executar várias funções através da instalação de vários programas, por exemplo, um computador pessoal de uso geral e similares.

[00276] A Fig. 26 é um diagrama de blocos que ilustra um exemplo de configuração de hardware do computador que executa a série de etapas de processamento descrita acima pelo programa.

[00277] Em um computador 800, uma unidade de processamento central (CPU) 801, uma memória de somente leitura (ROM) 802 e uma memória de acesso aleatório (RAM) 803 são conectadas entre si por um barramento 804.

[00278] Além disso, uma interface de entrada/saída 810 é conectada ao barramento 804. A interface de entrada/saída 810 é conectada a uma unidade de entrada 811, uma unidade de saída 812, uma unidade de armazenamento 813, uma unidade de comunicação 814 e uma unidade de disco 815.

[00279] A unidade de entrada 811 inclui um teclado, um mouse, um microfone e similares. A unidade de saída 812 inclui um monitor, um altofalante, e similares. A unidade de armazenamento 813 inclui um disco rígido, uma memória não volátil ou similares. A unidade de comunicação 814 inclui uma interface de rede e similares. A unidade de disco 815 aciona um meio

Petição 870190062895, de 05/07/2019, pág. 68/149

60/102 removível 821, tal como um disco magnético, um disco óptico, um disco magneto-óptico ou uma memória semicondutora.

[00280] No computador 800 configurado como descrito acima, por exemplo, a CPU 801 carrega o programa armazenado na unidade de armazenamento 813 na RAM 803 através da interface de entrada/saída 810 e do barramento 804 para executar a série de etapas de processamento descrita acima.

[00281] O programa executado pelo computador 800 (CPU 801) pode ser provido, por exemplo, sendo gravado no meio removível 821 como uma mídia de pacote ou similar. Além disso, o programa pode ser fornecido através de um meio de transmissão com ou sem fio, como uma rede de área local, a Internet ou a difusão por satélite digital.

[00282] No computador 800, o programa pode ser instalado na unidade de armazenamento 813 através da interface de entrada/saída 810 montando o meio removível 821 na unidade de disco 815. Além disso, o programa pode ser instalado na unidade de armazenamento 813 por recepção com a unidade de comunicação 814 através do meio de transmissão com ou sem fio. Além disso, o programa pode ser instalado antecipadamente na ROM 802 e na unidade de armazenamento 813.

[00283] Deve-se observar que o programa executado pelo computador 800 pode ser um programa pelo qual o processamento é realizado em séries temporais ao longo da ordem aqui descrita, e pode ser um programa pelo qual o processamento é realizado em paralelo ou no momento necessário como quando uma chamada é realizada.

<Terceira modalidado [00284] A Fig. 27 ilustra um exemplo de uma configuração esquemática de um dispositivo de televisão ao qual a modalidade descrita acima é aplicada. Um dispositivo de televisão 900 inclui uma antena 901, um sintonizador 902, um demultiplexador 903, um decodificador 904, uma

Petição 870190062895, de 05/07/2019, pág. 69/149 / 102 unidade de processamento de sinal de vídeo 905, uma unidade de exibição 906, uma unidade de processamento de sinal de áudio 907, um alto-falante 908, uma unidade de interface (I/F) externa 909, uma unidade de controle 910, uma unidade de interface (I/F) de usuário 911 e um barramento 912.

[00285] O sintonizador 902 extrai um sinal de um canal desejado a partir de um sinal de difusão recebido através da antena 901 e demodula o sinal extraído. Então, o sintonizador 902 envia um fluxo de bits codificado obtido pela demodulação para o demultiplexador 903. Em outras palavras, o sintonizador 902 tem um papel como unidade de transmissão no dispositivo de televisão 900, a unidade de transmissão recebendo o fluxo codificado no qual a imagem é codificada.

[00286] O demultiplexador 903 separa um fluxo de vídeo e um fluxo de áudio de um programa a ser visualizado a partir do fluxo de bits codificado e envia os fluxos separados para o decodificador 904. Além disso, o demultiplexador 903 extrai dados auxiliares, tais como um guia de programa eletrônico (EPG) do fluxo de bits codificado e fornece os dados extraídos para a unidade de controle 910. Deve-se observar que o demultiplexador 903 pode realizar desembaralhamento em um caso em que o fluxo de bits codificado é embaralhado.

[00287] O decodificador 904 decodifica o fluxo de vídeo e o fluxo de áudio introduzido do demultiplexador 903. Em seguida, o decodificador 904 envia dados de vídeo gerados pelo processamento de decodificação para a unidade de processamento de sinal de vídeo 905. Além disso, o decodificador 904 envia dados de áudio gerados pelo processamento de decodificação para a unidade de processamento de sinal de áudio 907.

[00288] A unidade de processamento de sinal de vídeo 905 reproduz os dados de vídeo introduzidos do decodificador 904, e faz com que a unidade de exibição 906 exiba um vídeo. Além disso, a unidade de processamento de sinal de vídeo 905 pode fazer com que a unidade de exibição 906 exiba uma

Petição 870190062895, de 05/07/2019, pág. 70/149 / 102 tela de aplicação fornecida através da rede. Além disso, a unidade de processamento de sinal de vídeo 905 pode realizar processamento adicional, por exemplo, remoção de ruído ou similar, dependendo de uma configuração, para os dados de vídeo. Além disso, a unidade de processamento de sinal de vídeo 905 pode gerar uma imagem de uma interface gráfica de usuário (GUI), por exemplo, um menu, um botão, um cursor ou similares e sobrepor a imagem gerada em uma imagem de saída.

[00289] A unidade de exibição 906 é acionada por um sinal de acionamento fornecido pela unidade de processamento de sinal de vídeo 905 e exibe o vídeo ou imagem em um plano de vídeo de um dispositivo de exibição (por exemplo, um visor de cristal líquido, um visor de plasma, ou um visor de eletroluminescência orgânica (OELD) (visor de EL orgânica), ou similares).

[00290] A unidade de processamento de sinal de áudio 907 realiza processamento de reprodução como conversão D/A e amplificação nos dados de áudio introduzidos do decodificador 904, e emite áudio do alto-falante 908. Além disso, a unidade de processamento de sinal de áudio 907 pode realizar processamento adicional, tal como remoção de ruído nos dados de áudio.

[00291] A unidade de interface externa 909 é uma interface para conectar o dispositivo de televisão 900 a um dispositivo externo ou a uma rede. Por exemplo, o fluxo de vídeo ou o fluxo de áudio recebido através da unidade de interface externa 909 pode ser decodificado pelo decodificador 904. Em outras palavras, a unidade de interface externa 909 tem um papel como a unidade de transmissão no dispositivo de televisão 900, a unidade de transmissão recebendo o fluxo codificado no qual a imagem é codificada.

[00292] A unidade de controle 910 inclui um processador, como uma CPU e memórias, como uma RAM e uma ROM. As memórias armazenam um programa executado pela CPU, dados do programa, dados EPG, dados adquiridos através da rede e similares. O programa armazenado pelas

Petição 870190062895, de 05/07/2019, pág. 71/149 / 102 memórias é lido e executado pela CPU no momento da ativação do dispositivo de televisão 900, por exemplo. A CPU executa o programa, dessa forma controlando a operação do dispositivo de televisão 900 dependendo de um sinal de operação introduzido a partir da unidade de interface de usuário 911, por exemplo.

[00293] A unidade de interface de usuário 911 é conectada à unidade de controle 910. A unidade de interface de usuário 911 inclui, por exemplo, botões e comutadores para que um usuário opere o dispositivo de televisão 900, uma unidade de recepção para um sinal de controle remoto e similares. A unidade de interface de usuário 911 detecta operação do usuário através desses componentes, gera um sinal de operação e envia o sinal de operação gerado para a unidade de controle 910.

[00294] O barramento 912 conecta o sintonizador 902, o demultiplexador 903, o decodificador 904, a unidade de processamento de sinal de vídeo 905, a unidade de processamento de sinal de áudio 907, a unidade de interface externa 909 e a unidade de controle 910 uns aos outros.

[00295] No dispositivo de televisão 900 configurado como descrito acima, o decodificador 904 pode ter a função do dispositivo de decodificação de imagem 200 descrito acima. Isto é, o decodificador 904 pode decodificar os dados codificados com o método descrito em cada uma das modalidades descritas acima. Ao fazê-lo, o dispositivo de televisão 900 pode obter um efeito similar a cada uma das modalidades descritas acima com referência às Figs. 10 a 25.

[00296] Além disso, no dispositivo de televisão 900 configurado como descrito acima, a unidade de processamento de sinal de vídeo 905 pode codificar dados de imagem fornecidos a partir do decodificador 904, por exemplo, e os dados codificados obtidos podem ser enviados para o exterior do dispositivo de televisão 900 através da unidade de interface externa 909. Em seguida, a unidade de processamento de sinal de vídeo 905 pode ter a

Petição 870190062895, de 05/07/2019, pág. 72/149

64/102 função do dispositivo de codificação de imagem descrito acima 100. Ou seja, a unidade de processamento de sinal de vídeo 905 pode codificar os dados de imagem fornecidos a partir do decodificador 904 com o método descrito em cada uma das modalidades descritas acima. Ao fazê-lo, o dispositivo de televisão 900 pode obter um efeito similar a cada uma das modalidades descritas acima com referência às Figs. 10 a 25.

<Quarta modalidado [00297] A Fig. 28 ilustra um exemplo de uma configuração esquemática de um telefone celular ao qual a modalidade descrita acima é aplicada. Um telefone celular 920 inclui uma antena 921, uma unidade de comunicação 922, um codec de áudio 923, um alto-falante 924, um microfone 925, uma unidade de câmera 926, uma unidade de processamento de imagem 927, uma unidade de demultiplexação 928, uma unidade de gravação/reprodução 929, uma unidade de exibição 930, uma unidade de controle 931, uma unidade de operação 932 e um barramento 933.

[00298] A antena 921 é conectada à unidade de comunicação 922. O alto-falante 924 e o microfone 925 são conectados ao codec de áudio 923. A unidade de operação 932 é conectada à unidade de controle 931. O barramento 933 conecta a unidade de comunicação 922, o codec de áudio 923, a unidade de câmera 926, a unidade de processamento de imagem 927, a unidade de demultiplexação 928, a unidade de gravação/reprodução 929, a unidade de exibição 930 e a unidade de controle 931 uns aos outros.

[00299] O telefone celular 920 realiza operações como transmissão/recepção de um sinal de áudio, transmissão/recepção de um correio eletrônico ou dados de imagem, formação de imagem de uma imagem e gravação de dados em vários modos de operação, incluindo um modo de chamada de áudio, um modo de comunicação de dados, um modo de fotografia e um modo de videofone.

[00300] No modo de chamada de áudio, um sinal de áudio analógico

Petição 870190062895, de 05/07/2019, pág. 73/149 / 102 gerado pelo microfone 925 é fornecido ao codec de áudio 923. O codec de áudio 923 converte o sinal de áudio analógico em dados de áudio e realiza conversão A/D nos dados de áudio convertidos e comprime os dados. Em seguida, o codec de áudio 923 envia os dados de áudio comprimidos para a unidade de comunicação 922. A unidade de comunicação 922 codifica e modula os dados de áudio para gerar um sinal de transmissão. Então, a unidade de comunicação 922 transmite o sinal de transmissão gerado para uma estação base (não ilustrada) através da antena 921. Além disso, a unidade de comunicação 922 realiza amplificação e conversão de frequência em um sinal de rádio recebido através da antena 921, para adquirir um sinal de recepção. Em seguida, a unidade de comunicação 922 demodula e decodifica o sinal de recepção para gerar dados de áudio e envia os dados de áudio gerados para o codec de áudio 923. O codec de áudio 923 realiza descompressão e conversão D/A nos dados de áudio para gerar um sinal de áudio analógico. Em seguida, o codec de áudio 923 fornece o sinal de áudio gerado ao alto-falante 924 para emitir áudio.

[00301] Além disso, no modo de comunicação de dados, por exemplo, a unidade de controle 931 gera dados de caracteres que constituem o e-mail, dependendo da operação por um usuário através da unidade de operação 932. Além disso, a unidade de controle 931 faz com que a unidade de exibição 930 exiba caracteres. Além disso, a unidade de controle 931 gera dados de e-mail em resposta a uma instrução de transmissão do usuário através da unidade de operação 932, e envia os dados de e-mail gerados para a unidade de comunicação 922. A unidade de comunicação 922 codifica e modula os dados de e-mail para gerar um sinal de transmissão. Então, a unidade de comunicação 922 transmite o sinal de transmissão gerado para uma estação base (não ilustrada) através da antena 921. Além disso, a unidade de comunicação 922 realiza amplificação e conversão de frequência em um sinal de rádio recebido através da antena 921, para adquirir um sinal de recepção.

Petição 870190062895, de 05/07/2019, pág. 74/149 / 102

Em seguida, a unidade de comunicação 922 demodula e decodifica o sinal de recepção para restaurar os dados de e-mail e envia os dados de e-mail restaurados para a unidade de controle 931. A unidade de controle 931 faz com que a unidade de exibição 930 exiba o conteúdo do e-mail e também fornece os dados de e-mail para a unidade de gravação/reprodução 929 para gravar os dados de e-mail no seu meio de armazenamento.

[00302] A unidade de gravação/reprodução 929 inclui um meio de armazenamento legível e gravável arbitrário. Por exemplo, o meio de armazenamento pode ser um meio de armazenamento embutido, como uma RAM ou uma memória flash, ou pode ser um meio de armazenamento externo, como um disco rígido, um disco magnético, um disco magnetoóptico, um disco óptico, uma memória de barramento serial universal (USB) ou um cartão de memória.

[00303] Além disso, no modo de fotografia, por exemplo, a unidade de câmera 926 forma a imagem de um assunto para gerar dados de imagem e envia os dados de imagem gerados para a unidade de processamento de imagem 927. A unidade de processamento de imagem 927 codifica os dados de imagem introduzidos da unidade de câmera 926, fornece um fluxo codificado para a unidade de gravação/reprodução 929 para gravar o fluxo codificado no meio de armazenamento.

[00304] Além disso, em um modo de exibição de imagem, a unidade de gravação/reprodução 929 lê o fluxo codificado gravado no meio de armazenamento, e envia o fluxo para a unidade de processamento de imagem 927. A unidade de processamento de imagem 927 decodifica o fluxo codificado introduzido da unidade de gravação/reprodução 929, e fornece dados de imagem para a unidade de exibição 930 para exibir a imagem.

[00305] Além disso, no modo de videofone, por exemplo, a unidade de demultiplexação 928 multiplexa um fluxo de vídeo codificado pela unidade de processamento de imagem 927 e um fluxo de áudio introduzido do codec

Petição 870190062895, de 05/07/2019, pág. 75/149 / 102 de áudio 923 e envia um fluxo multiplexado para a unidade de comunicação 922. A unidade de comunicação 922 codifica e modula o fluxo para gerar um sinal de transmissão. Então, a unidade de comunicação 922 transmite o sinal de transmissão gerado para uma estação base (não ilustrada) através da antena 921. Além disso, a unidade de comunicação 922 realiza amplificação e conversão de frequência em um sinal de rádio recebido através da antena 921, para adquirir um sinal de recepção. Esses sinal de transmissão e sinal de recepção podem incluir um fluxo de bits codificado. Em seguida, a unidade de comunicação 922 demodula e decodifica o sinal de recepção para restaurar o fluxo e envia o fluxo restaurado para a unidade de demultiplexação 928. A unidade de demultiplexação 928 separa um fluxo de vídeo e um fluxo de áudio a partir do fluxo de entrada e envia o fluxo de vídeo para a unidade de processamento de imagem 927, e o fluxo de áudio para o codec de áudio 923. A unidade de processamento de imagem 927 decodifica o fluxo de vídeo para gerar dados de vídeo. Os dados de vídeo são fornecidos para a unidade de exibição 930, e uma série de imagens é exibida pela unidade de exibição 930. O codec de áudio 923 realiza descompressão e conversão D/A no fluxo de áudio para gerar um sinal de áudio analógico. Em seguida, o codec de áudio 923 fornece o sinal de áudio gerado ao alto-falante 924 para emitir áudio.

[00306] No telefone celular 920 configurado como descrito acima, por exemplo, a unidade de processamento de imagem 927 pode ter a função do dispositivo de codificação de imagem 100 descrito acima. Isto é, a unidade de processamento de imagem 927 pode codificar os dados de imagem com o método descrito em cada uma das modalidades descritas acima. Ao fazê-lo, o telefone celular 920 pode obter um efeito similar a cada uma das modalidades descritas acima com referência às Figs. 10 a 25.

[00307] Além disso, no telefone celular 920 configurado como descrito acima, por exemplo, a unidade de processamento de imagem 927 pode ter a função do dispositivo de decodificação de imagem 200 descrito acima. Isto é,

Petição 870190062895, de 05/07/2019, pág. 76/149 / 102 a unidade de processamento de imagem 927 pode decodificar os dados codificados com o método descrito em cada uma das modalidades descritas acima. Ao fazê-lo, o telefone celular 920 pode obter um efeito similar a cada uma das modalidades descritas acima com referência às Figs. 10 a 25.

<Quinta modalidado [00308] A Fig. 29 ilustra um exemplo de uma configuração esquemática de um dispositivo de gravação/reprodução ao qual a modalidade descrita acima é aplicada. Um dispositivo de gravação/reprodução 940 codifica, por exemplo, dados de áudio e dados de vídeo de um programa de difusão recebido e grava dados codificados em um meio de gravação. Além disso, o dispositivo de gravação/reprodução 940 pode codificar, por exemplo, dados de áudio e dados de vídeo adquiridos de outro dispositivo e gravar os dados codificados no meio de gravação. Além disso, o dispositivo de gravação/reprodução 940 reproduz dados gravados no meio de gravação em um monitor e em um alto-falante, por exemplo, em resposta a uma instrução de um usuário. Dessa vez, o dispositivo de gravação/reprodução 940 decodifica os dados de áudio e os dados de vídeo.

[00309] O dispositivo de gravação/reprodução 940 inclui um sintonizador 941, uma unidade de interface (I/F) externa 942, um codificador 943, um unidade de disco rígido (HDD) 944, uma unidade de disco 945, um seletor 946, um decodificador 947, uma unidade de exibição na tela (OSD) 948, uma unidade de controle 949, e uma unidade de interface (I/F) de usuário 950.

[00310] O sintonizador 941 extrai um sinal de um canal desejado a partir de um sinal de difusão recebido através de uma antena (não ilustrada) e demodula o sinal extraído. Então, o sintonizador 941 envia um fluxo de bits codificado obtido pela demodulação para o seletor 946. Em outras palavras, o sintonizador 941 tem um papel como unidade de transmissão no dispositivo de gravação/reprodução 940.

Petição 870190062895, de 05/07/2019, pág. 77/149 / 102 [00311] A unidade de interface externa 942 é uma interface para conectar o dispositivo de gravação/reprodução 940 a um dispositivo extemo ou a uma rede. A unidade de interface externa 942 pode ser, por exemplo, uma interface de instituto de engenheiros elétricos e eletrônicos (IEEE) 1394, uma interface de rede, uma interface de USB, uma interface de memória flash ou similares. Por exemplo, os dados de video e dados de áudio recebidos através da unidade de interface externa 942 são introduzidos no codificador 943. Em outras palavras, a unidade de interface externa 942 tem um papel como a unidade de transmissão no dispositivo de gravação/reprodução 940.

[00312] O codificador 943 codifica os dados de vídeo e os dados de áudio em um caso em que os dados de vídeo e os dados de áudio introduzidos da unidade de interface externa 942 não são codificados. Então, o codificador 943 envia um fluxo de bits codificado para o seletor 946.

[00313] A unidade de HDD 944 grava, em um disco rígido interno, um fluxo de bits codificado, no qual dados de conteúdo, como dados de vídeo e áudio, são comprimidos, vários programas e outros dados. Além disso, a unidade de HDD 944 lê esses dados do disco rígido no momento da reprodução de vídeo e áudio.

[00314] A unidade de disco 945 realiza gravação e leitura dos dados no meio de gravação montado. O meio de gravação montado na unidade de disco 945 pode ser, por exemplo, um disco de disco versátil digital (DVD) (DVDVídeo, DVD-memória de acesso aleatório (DVD-RAM), DVD gravável (DVD-R), DVD regravável (DVD-RW), DVD+gravável (DVD+R), DVD+regravável (DVD+RW), ou similares) ou um disco Blu-ray (marca registrada), ou similares.

[00315] No momento da gravação de vídeo e áudio, o seletor 946 seleciona um fluxo de bits codificado introduzido do sintonizador 941 ou do codificador 943, e envia o fluxo de bits codificado selecionado para a unidade de HDD 944 ou a unidade de disco 945. Além disso, no momento da

Petição 870190062895, de 05/07/2019, pág. 78/149 / 102 reprodução de vídeo e áudio, o seletor 946 envia o fluxo de bits codificado introduzido da unidade de HDD 944 ou da unidade de disco 945 para o decodificador 947.

[00316] O decodificador 947 decodifica o fluxo de bits codificado para gerar dados de vídeo e dados de áudio. Em seguida, o decodificador 947 envia os dados de vídeo gerados para a unidade de OSD 948. Além disso, o decodificador 947 envia os dados de áudio gerados para um alto-falante externo.

[00317] A unidade de OSD 948 reproduz os dados de vídeo introduzidos do decodificador 947 e exibe o vídeo. Além disso, a unidade de OSD 948 pode sobrepor uma imagem da GUI, por exemplo, um menu, um botão, um cursor ou similar no vídeo a ser exibido.

[00318] A unidade de controle 949 inclui um processador, como uma CPU e memórias, como uma RAM e uma ROM. As memórias armazenam um programa executado pela CPU, dados do programa e similares. O programa armazenado pelas memórias é lido e executado pela CPU no momento da ativação do dispositivo de gravação/reprodução 940, por exemplo. A CPU executa o programa, dessa forma controlando a operação do dispositivo de gravação/reprodução 940 dependendo de um sinal de operação introduzido a partir da unidade de interface de usuário 950, por exemplo.

[00319] A unidade de interface de usuário 950 é conectada à unidade de controle 949. A unidade de interface de usuário 950 inclui, por exemplo, botões e comutadores para que um usuário opere o dispositivo de gravação/reprodução 940, uma unidade de recepção para um sinal de controle remoto e similares. A unidade de interface de usuário 950 detecta operação do usuário através desses componentes, gera um sinal de operação e envia o sinal de operação gerado para a unidade de controle 949.

[00320] No dispositivo de gravação/reprodução 940 configurado como descrito acima, por exemplo, o codificador 943 pode ter a função do

Petição 870190062895, de 05/07/2019, pág. 79/149 / 102 dispositivo de codificação de imagem 100 descrito acima. Isto é, o codificador 943 pode codificar os dados de imagem pelo método descrito em cada uma das modalidades descritas acima. Ao fazê-lo, o dispositivo de gravação/reprodução 940 pode obter um efeito similar a cada uma das modalidades descritas acima com referência às Figs. 10 a 25.

[00321] Além disso, no dispositivo de gravação/reprodução 940 configurado como descrito acima, por exemplo, o decodificador 947 pode ter a função do dispositivo de decodificação de imagem 200 descrito acima. Isto é, o decodificador 947 pode decodificar os dados codificados com o método descrito em cada uma das modalidades descritas acima. Ao fazê-lo, o dispositivo de gravação/reprodução 940 pode obter um efeito similar a cada uma das modalidades descritas acima com referência às Figs. 10 a 25.

<Sexta modalidado [00322] A Fig. 30 ilustra um exemplo de uma configuração esquemática de um dispositivo de formação de imagem ao qual a modalidade descrita acima é aplicada. Um dispositivo de formação de imagem 960 grava um assunto para gerar uma imagem, codifica dados de imagem e grava os dados de imagem codificados em um meio de gravação.

[00323] O dispositivo de formação de imagem 960 inclui um bloco óptico 961, uma unidade de formação de imagem 962, uma unidade de processamento de sinal 963, uma unidade de processamento de imagem 964, uma unidade de exibição 965, uma unidade de interface (I/F) externa 966, uma unidade de memória 967, uma unidade de mídia 968, uma unidade de OSD 969, uma unidade de controle 970, uma unidade de interface (I/F) de usuário 971 e um barramento 972.

[00324] O bloco óptico 961 é conectado à unidade de formação de imagem 962. A unidade de formação de imagem 962 é conectada à unidade de processamento de sinal 963. A unidade de exibição 965 é conectada à unidade de processamento de imagem 964. A unidade de interface de usuário

Petição 870190062895, de 05/07/2019, pág. 80/149 / 102

971 é conectada à unidade de controle 970. O barramento 972 conecta a unidade de processamento de imagem 964, a unidade de interface externa 966, a unidade de memória 967, a unidade de mídia 968, a unidade de OSD 969 e a unidade de controle 970 umas às outras.

[00325] O bloco óptico 961 inclui uma lente de foco, um mecanismo de abertura e similares. O bloco óptico 961 forma uma imagem óptica do assunto em um plano de formação de imagem da unidade de formação de imagem 962. A unidade de formação de imagem 962 inclui um sensor de imagem, tal como um sensor de imagem de dispositivo de carga acoplada (CCD) ou um semicondutor de óxido de metal complementar (CMOS), e converte a imagem óptica formada no plano de formação de imagem em um sinal de imagem como um sinal elétrico por conversão fotoelétrica. Então, a unidade de formação de imagem 962 envia o sinal de imagem para a unidade de processamento de sinal 963.

[00326] A unidade de processamento de sinal 963 realiza vários tipos de processamento de sinal de câmera, tais como correção de knee, correção gama e correção de cor no sinal de imagem introduzido da unidade de formação de imagem 962. A unidade de processamento de sinal 963 envia os dados de imagem após o processamento de sinal de câmera para a unidade de processamento de imagem 964.

[00327] A unidade de processamento de imagem 964 codifica os dados de imagem introduzidos da unidade de processamento de sinal 963 para gerar dados codificados. Em seguida, a unidade de processamento de imagem 964 envia os dados codificados gerados para a unidade de interface externa 966 ou a unidade de mídia 968. Além disso, a unidade de processamento de imagem 964 decodifica os dados codificados introduzidos da unidade de interface externa 966 ou a unidade de mídia 968 para gerar dados de imagem. Em seguida, a unidade de processamento de imagem 964 envia os dados de imagem gerados para a unidade de exibição 965. Além disso, a unidade de

Petição 870190062895, de 05/07/2019, pág. 81/149 / 102 processamento de imagem 964 pode enviar os dados de imagem introduzidos da unidade de processamento de sinal 963 para que a unidade de exibição 965 exiba a imagem. Além disso, a unidade de processamento de imagem 964 pode sobrepor os dados de exibição adquiridos da unidade de OSD 969 na imagem a ser enviada para a unidade de exibição 965.

[00328] A unidade de OSD 969 gera uma imagem de GUI, por exemplo, um menu, um botão ou um cursor, ou similares, e envia a imagem gerada para a unidade de processamento de imagem 964.

[00329] A unidade de interface externa 966 é configurada como, por exemplo, um terminal de entrada/saída USB. A unidade de interface externa 966 conecta o dispositivo de formação de imagem 960 e a impressora, por exemplo, no momento da impressão de uma imagem. Além disso, uma unidade de disco é conectada à unidade de interface externa 966, conforme necessário. Por exemplo, um meio removível, tal como um disco magnético ou um disco óptico, é montado na unidade, e um programa lido a partir do meio removível pode ser instalado no dispositivo de formação de imagem 960. Além disso, a unidade de interface externa 966 pode ser configurada como uma interface de rede conectada a uma rede, como uma LAN ou a Internet. Em outras palavras, a unidade de interface externa 966 tem um papel como uma unidade de transmissão no dispositivo de formação de imagem 960.

[00330] O meio de gravação montado na unidade de mídia 968 pode ser um meio removível legível e gravável arbitrário, por exemplo, um disco magnético, um disco magneto-óptico, um disco óptico, uma memória semicondutora ou similares. Além disso, o meio de gravação pode ser fixamente montado na unidade de mídia 968 e, por exemplo, uma unidade de armazenamento não portátil pode ser configurada, como uma unidade de disco rígido embutida ou uma unidade de estado sólido (SSD).

[00331] A unidade de controle 970 inclui um processador, como uma

Petição 870190062895, de 05/07/2019, pág. 82/149 / 102

CPU e memórias, como uma RAM e uma ROM. As memórias armazenam um programa executado pela CPU, dados do programa e similares. O programa armazenado pelas memórias é lido e executado pela CPU no momento da ativação do dispositivo de formação de imagem 960, por exemplo. A CPU executa o programa, dessa forma controlando a operação do dispositivo de formação de imagem 960 dependendo de um sinal de operação introduzido a partir da unidade de interface de usuário 971, por exemplo.

[00332] A unidade de interface de usuário 971 é conectada à unidade de controle 970. A unidade de interface de usuário 971 inclui, por exemplo, botões, comutadores ou similares para que um usuário opere o dispositivo de formação de imagem 960. A unidade de interface de usuário 971 detecta operação do usuário através desses componentes, gera um sinal de operação e envia o sinal de operação gerado para a unidade de controle 970.

[00333] No dispositivo de formação de imagem 960 configurado como descrito acima, por exemplo, a unidade de processamento de imagem 964 pode ter a função do dispositivo de codificação de imagem 100 descrito acima. Isto é, a unidade de processamento de imagem 964 pode codificar os dados de imagem com o método descrito em cada uma das modalidades descritas acima. Ao fazê-lo, o dispositivo de formação de imagem 960 pode obter um efeito similar a cada uma das modalidades descritas acima com referência às Figs. 10 a 25.

[00334] Além disso, no dispositivo de formação de imagem 960 configurado como descrito acima, por exemplo, a unidade de processamento de imagem 964 pode ter a função do dispositivo de decodificação de imagem 200 descrito acima. Isto é, a unidade de processamento de imagem 964 pode decodificar os dados codificados com o método descrito em cada uma das modalidades descritas acima. Ao fazê-lo, o dispositivo de formação de imagem 960 pode obter um efeito similar a cada uma das modalidades descritas acima com referência às Figs. 10 a 25.

Petição 870190062895, de 05/07/2019, pág. 83/149 / 102 <Sétima modalidado [00335] Além disso, a presente tecnologia também pode ser implementada como qualquer configuração a ser montada em um dispositivo que constitua um dispositivo ou sistema arbitrário, por exemplo, um processador como uma integração em larga escala (LSI) do sistema ou similares, um módulo usando uma pluralidade de processadores e similares, uma unidade usando uma pluralidade de módulos e similares, um conjunto no qual outras funções são adicionadas à unidade, ou similares (em outras palavras, uma configuração de uma parte do dispositivo). A Fig. 31 ilustra um exemplo de uma configuração esquemática de um conjunto de vídeo ao qual a presente tecnologia é aplicada.

[00336] Nos últimos anos, a multifuncionalização de um dispositivo eletrônico progrediu, e em um caso em que uma configuração de uma parte do dispositivo eletrônico é implementada como venda, fornecimento ou similar no desenvolvimento e fabricação do dispositivo eletrônico, não apenas um caso de implementação como uma configuração com uma função, mas também um caso de implementação como um conjunto com uma pluralidade de funções por combinação de funções relacionadas é frequentemente visto.

[00337] Um conjunto de vídeo 1300 ilustrado na Fig. 31 tem uma configuração multifuncional, na qual um dispositivo que tem uma função relacionada com a codificação e decodificação de uma imagem (a função pode estar relacionada com uma ou ambas de codificação e decodificação) é combinado com um dispositivo com outra função relacionada à função.

[00338] Como ilustrado na Fig. 31, o conjunto de vídeo 1300 inclui um grupo de módulos, como um módulo de vídeo 1311, uma memória externa 1312, um módulo de gerenciamento de energia 1313 e um módulo frontal 1314, e dispositivos com funções relacionadas, como uma conectividade 1321, uma câmera 1322 e um sensor 1323.

[00339] Um módulo é um componente que tem uma função unida, na

Petição 870190062895, de 05/07/2019, pág. 84/149 / 102 qual várias funções de componentes relacionadas umas às outras estão unidas. Embora a configuração física específica seja arbitrária, por exemplo, é concebível uma configuração na qual uma pluralidade de processadores, cada um com uma função, elementos de circuito eletrônico, como resistores e capacitores, outro dispositivo e similares, são arranjados em uma placa de circuito ou similar para serem integrados. Além disso, também é concebível combinar um módulo com outro módulo, um processador e similar para formar um novo módulo.

[00340] No caso do exemplo da Fig. 31, o módulo de vídeo 1311 é uma combinação de configurações com funções relacionadas ao processamento de imagens e inclui um processador de aplicativos, um processador de vídeo, um modem de banda larga 1333 e um módulo de RF 1334.

[00341] Um processador é um componente no qual cada uma das configurações com uma função predeterminada é integrada em um chip semicondutor por um sistema em um chip (SoC), e algumas são chamadas de integração em larga escala do sistema (LSI) ou similares, por exemplo. A configuração com a função predeterminada pode ser um circuito lógico (configuração de hardware), pode ser uma CPU, uma ROM, uma RAM e similares, e um programa (configuração de software) executado usando-os, ou pode ser uma combinação de ambos. Por exemplo, um processador pode incluir um circuito lógico, uma CPU, uma ROM, uma RAM e similares, algumas funções podem ser implementadas pelo circuito lógico (configuração de hardware), e outras funções podem ser implementadas por um programa (configuração de software) executado na CPU.

[00342] O processador de aplicativo 1331 na Fig. 31 é um processador que executa um aplicativo relacionado ao processamento de imagem. Para implementar uma função predeterminada, o aplicativo executado no processador de aplicativos 1331 pode realizar não só processamento

Petição 870190062895, de 05/07/2019, pág. 85/149 / 102 aritmético, mas também controle de componentes dentro e fora do módulo de vídeo 1311, por exemplo, um processador de vídeo 1332 ou similar, conforme necessário.

[00343] O processador de vídeo 1332 é um processador que tem funções relacionadas com (uma ou ambas de) codificação e decodificação da imagem.

[00344] O modem de banda larga 1333 realiza conversão, para um sinal analógico, em dados (sinal digital) a serem transmitidos por comunicações de banda larga com ou sem fio (ou ambas) realizadas através de uma linha de banda larga, como a Internet ou uma rede de linhas telefônicas públicas ou similares por modulação digital ou similar, e realiza conversão, para dados (sinal digital), em um sinal analógico recebido pela comunicação de banda larga por demodulação. O modem de banda larga 1333 processa informações arbitrárias, por exemplo, dados de imagem processados pelo processador de vídeo 1332, um fluxo no qual os dados de imagem são codificados, um programa de aplicativo, dados de configuração ou similares.

[00345] O módulo de RF 1334 é um módulo que realiza conversão de frequência, modulação/demodulação, amplificação, processamento de filtro e similares em um sinal de radiofrequência (RF) transmitido e recebido através de uma antena. Por exemplo, o módulo de RF 1334 realiza conversão de frequência e similares em um sinal de banda de base gerado pelo modem de banda larga 1333 para gerar um sinal de RF. Além disso, por exemplo, o módulo de RF 1334 realiza conversão de frequência e similares em um sinal de RF recebido através do módulo frontal 1314 para gerar um sinal de banda de base.

[00346] Deve-se observar que, como ilustrado por uma linha pontilhada 1341 na Fig. 31, o processador de aplicativo 1331 e o processador de vídeo 1332 podem ser integrados para formar um processador.

[00347] A memória externa 1312 é um módulo provido fora do módulo

Petição 870190062895, de 05/07/2019, pág. 86/149 / 102 de vídeo 1311 e que inclui um dispositivo de armazenamento usado pelo módulo de vídeo 1311. O dispositivo de armazenamento da memória externa 1312 pode ser implementado por qualquer configuração física, mas em geral, o dispositivo de armazenamento é frequentemente usado para armazenar dados de grande capacidade, como dados de imagem em uma base de quadro, de modo que o dispositivo de armazenamento é desejavelmente implementado por uma memória semicondutora relativamente barata e de grande capacidade, por exemplo, uma memória de acesso aleatório dinâmica (DRAM).

[00348] O módulo de gerenciamento de energia 1313 gerencia e controla o fornecimento de energia para o módulo de vídeo 1311 (cada componente no módulo de vídeo 1311).

[00349] O módulo frontal 1314 é um módulo que fornece uma função frontal (um circuito na extremidade de transmissão/recepção em um lado da antena) para o módulo de RF 1334. Como ilustrado na Fig. 31, o módulo frontal 1314 inclui, por exemplo, uma unidade de antena 1351, um filtro 1352 e uma unidade de amplificação 1353.

[00350] A unidade de antena 1351 inclui uma antena que transmite e recebe sinais de rádio e seu componente periférico. A unidade de antena 1351 transmite um sinal fornecido a partir da unidade de amplificação 1353 como um sinal de rádio e fornece um sinal de rádio recebido ao filtro 1352 como um sinal elétrico (sinal de RF). O filtro 1352 executa o processamento de filtro e similar no sinal de RF recebido através da unidade de antena 1351 e fornece o sinal de RF processado ao módulo de RF 1334. A unidade de amplificação 1353 amplifica o sinal de RF fornecido pelo módulo de RF 1334 e fornece o sinal à unidade de antena 1351.

[00351] A conectividade 1321 é um módulo com uma função relacionada à conexão com o exterior. A configuração física da conectividade 1321 é arbitrária. Por exemplo, a conectividade 1321 inclui um componente

Petição 870190062895, de 05/07/2019, pág. 87/149 / 102 com uma função de comunicação diferente de um padrão de comunicação suportado pelo modem de banda larga 1333, um terminal de entrada/saída externo e similar.

[00352] Por exemplo, a conectividade 1321 pode incluir um módulo com uma função de comunicação em conformidade com um padrão de comunicação sem fio, como Bluetooth (marca registrada), IEEE 802.11 (por exemplo, wireless fidelity (Wi-Fi) (marca registrada)), comunicação de campo próximo (NFC) ou associação de dados de infravermelho (IrDA), uma antena que transmite e recebe um sinal em conformidade com o padrão, e similares. Além disso, por exemplo, a conectividade 1321 pode incluir um módulo com uma função de comunicação em conformidade com um padrão de comunicação com fio como barramento serial universal (USB) ou Interface Multimídia de Alta Resolução (HDMI) (marca registrada), ou um terminal em conformidade com o padrão. Além disso, por exemplo, a conectividade 1321 pode ter outra função de transmissão de dados (sinal), tal como terminal de entrada/saída analógica.

[00353] Deve-se observar que a conectividade 1321 pode incluir um dispositivo para o qual os dados (sinal) são transmitidos. Por exemplo, a conectividade 1321 pode incluir uma unidade (incluindo não apenas uma unidade de mídia removível, mas também um disco rígido, uma unidade de estado sólido (SSD), armazenamento conectado à rede (NAS) e similares) que lê/grava dados de/para um meio de gravação, como um disco magnético, um disco óptico, um disco magneto-óptico ou uma memória semicondutora. Além disso, a conectividade 1321 pode incluir dispositivos de saída de imagem e áudio (monitor, alto-falante e similares).

[00354] A câmera 1322 é um módulo com uma função de formar imagens de um assunto e obter dados de imagem do assunto. Os dados de imagem obtidos por formação de imagem pela câmera 1322 são fornecidos ao processador de vídeo 1332 e codificados, por exemplo.

Petição 870190062895, de 05/07/2019, pág. 88/149

80/102 [00355] O sensor 1323 é um módulo com uma função de sensor arbitrária, por exemplo, sensor de áudio, sensor ultrassônico, sensor óptico, sensor de iluminância, sensor infravermelho, sensor de imagem, sensor de rotação, sensor de ângulo, sensor de velocidade angular, sensor de velocidade, sensor de aceleração, sensor de inclinação, sensor de identificação magnética, sensor de impacto, sensor de temperatura, ou similares. Os dados detectados pelo sensor 1323 são fornecidos ao processador de aplicativos 1331, por exemplo, e usados por um aplicativo ou similar.

[00356] O componente descrito como um módulo acima também pode ser implementado como um processador, ou inversamente, o componente descrito como um processador também pode ser implementado como um módulo.

[00357] No conjunto de vídeo 1300 configurado como descrito acima, a presente tecnologia pode ser aplicada ao processador de vídeo 1332, como descrito mais adiante. O conjunto de vídeo 1300 pode, portanto, ser implementado como um conjunto ao qual a presente tecnologia é aplicada. (Exemplo de configuração do processador de vídeo) [00358] A Fig. 32 ilustra um exemplo de uma configuração esquemática do processador de vídeo 1332 (Fig. 31) ao qual a presente tecnologia é aplicada.

[00359] No caso do exemplo da Fig. 32, o processador de vídeo 1332 inclui uma função de receber a entrada de um sinal de vídeo e um sinal de áudio e codificar os sinais com um formato predeterminado, e uma função de decodificar os dados de vídeo e dados de áudio codificados para reproduzir e emitir o sinal de vídeo e o sinal de áudio.

[00360] Como ilustrado na Fig. 32, o processador de vídeo 1332 inclui uma unidade de processamento de entrada de vídeo 1401, uma primeira unidade de dimensionamento de imagem 1402, uma segunda unidade de dimensionamento de imagem 1403, uma unidade de processamento de saída

Petição 870190062895, de 05/07/2019, pág. 89/149

81/102 de vídeo 1404, uma memória de quadro 1405 e uma unidade de controle de memória 1406. Além disso, o processador de vídeo 1332 inclui um mecanismo de codificação e decodificação 1407, buffers de fluxo elementar de vídeo (ES) 1408A e 1408B, e buffers de áudio ES 1409A e 1409B. Além disso, o processador de vídeo 1332 inclui um codificador de áudio 1410, um decodificador de áudio 1411, uma unidade de multiplexação (multiplexador (MUX)) 1412, uma unidade de demultiplexação (demultiplexador (DMUX)) 1413 e um buffer de fluxo 1414.

[00361] A unidade de processamento de entrada de vídeo 1401 adquire o sinal de vídeo introduzido, por exemplo, da conectividade 1321 (Fig. 31) ou similar, e converte o sinal em dados de imagem digital. A primeira unidade de dimensionamento de imagem 1402 realiza conversão de formato, processamento de dimensionamento de imagem e similares nos dados de imagem. A segunda unidade de dimensionamento de imagem 1403 realiza, nos dados de imagem, processamento de dimensionamento de imagem dependendo de um formato em um destino de saída através da unidade de processamento de saída de vídeo 1404 e conversão de formato, processamento de dimensionamento de imagem e similares semelhantes aos da primeira unidade de dimensionamento de imagem 1402. A unidade de processamento de saída de vídeo 1404 realiza a conversão de formato, a conversão para um sinal analógico e similar nos dados de imagem para fazer um sinal de vídeo reproduzido e enviar o sinal para, por exemplo, a conectividade 1321 ou similar.

[00362] A memória de quadro 1405 é uma memória para dados de imagem compartilhados pela unidade de processamento de entrada de vídeo 1401, pela primeira unidade de dimensionamento de imagem 1402, pela segunda unidade de dimensionamento de imagem 1403, pela unidade de processamento de saída de vídeo 1404 e pelo mecanismo de codificação e decodificação 1407. A memória de quadro 1405 é implementada como uma

Petição 870190062895, de 05/07/2019, pág. 90/149 / 102 memória semicondutora, como DRAM, por exemplo.

[00363] A unidade de controle de memória 1406 recebe um sinal de sincronização do mecanismo de codificação e decodificação 1407 e controla acesso de gravação e leitura para a memória de quadro 1405 de acordo com uma programação para acessar a memória de quadro 1405 gravado em uma tabela de gerenciamento de acesso 1406A. A tabela de gerenciamento de acesso 1406A é atualizada pela unidade de controle de memória 1406 dependendo do processamento executado pelo mecanismo de codificação e decodificação 1407, pela primeira unidade de dimensionamento de imagem 1402, pela segunda unidade de dimensionamento de imagem 1403 ou similares.

[00364] O mecanismo de codificação e decodificação 1407 realiza o processamento de codificação de dados de imagem e o processamento de decodificação de um fluxo de vídeo que são dados nos quais os dados de imagem são codificados. Por exemplo, o mecanismo de codificação e decodificação 1407 codifica os dados de imagem lidos a partir da memória de quadro 1405 e grava sequencialmente os dados de imagem codificados como um fluxo de vídeo no buffer de vídeo ES 1408A. Além disso, por exemplo, um fluxo de vídeo é sequencialmente lido a partir do buffer de vídeo ES 1408B e decodificado, e sequencialmente gravado como dados de imagem na memória de quadro 1405. O mecanismo de codificação e decodificação 1407 usa a memória de quadro 1405 como uma área de trabalho, nessa codificação e decodificação. Além disso, o mecanismo de codificação e decodificação 1407 envia um sinal de sincronização para a unidade de controle de memória 1406, por exemplo, no momento de iniciar o processamento para cada macrobloco.

[00365] O buffer de vídeo ES 1408A armazena em buffer um fluxo de vídeo gerado pelo mecanismo de codificação e decodificação 1407, e fornece o fluxo de vídeo para a unidade de multiplexação (MUX) 1412. O buffer de

Petição 870190062895, de 05/07/2019, pág. 91/149 / 102 vídeo ES 1408B armazena em buffer um fluxo de vídeo fornecido a partir da unidade de demultiplexação (DMUX) 1413 e fornece o fluxo de vídeo para o mecanismo de codificação e decodificação 1407.

[00366] O buffer de áudio ES 1409A armazena em buffer um fluxo de áudio gerado pelo codificador de áudio 1410 e fornece o fluxo de áudio para a unidade de multiplexação (MUX) 1412. O buffer de áudio ES 1409B armazena em buffer um fluxo de áudio fornecido a partir da unidade de demultiplexação (DMUX) 1413 e fornece o fluxo de áudio para o decodificador de áudio 1411.

[00367] O codificador de áudio 1410 realiza, por exemplo, conversão digital de um sinal de áudio introduzido da, por exemplo, conectividade 1321 ou similar, e codifica o sinal de áudio com um formato predeterminado, por exemplo, um formato de áudio MPEG, um AudioCode número 3 (AC3), ou similar. O codificador de áudio 1410 grava sequencialmente, no buffer de áudio ES 1409A, um fluxo de áudio que são dados nos quais o sinal de áudio é codificado. O decodificador de áudio 1411 decodifica um fluxo de áudio fornecido a partir do buffer de áudio ES 1409B realiza, por exemplo, conversão em um sinal analógico, ou similar, para fazer um sinal de áudio reproduzido e fornece o sinal para, por exemplo, a conectividade 1321 ou similar.

[00368] A unidade de multiplexação (MUX) 1412 multiplexa o fluxo de vídeo e o fluxo de áudio. O método de multiplexação (em outras palavras, o formato de um fluxo de bits gerado pela multiplexação) é arbitrário. Além disso, no momento da multiplexação, a unidade de multiplexação (MUX) 1412 pode adicionar informações de cabeçalho predeterminadas e similares ao fluxo de bits. Ou seja, a unidade de multiplexação (MUX) 1412 pode converter o formato do fluxo por multiplexação. Por exemplo, a unidade de multiplexação (MUX) 1412 multiplexa o fluxo de vídeo e o fluxo de áudio, realizando assim a conversão em um fluxo de transporte que é um fluxo de

Petição 870190062895, de 05/07/2019, pág. 92/149 / 102 bits de um formato para transferência. Além disso, por exemplo, a unidade de multiplexação (MUX) 1412 multiplexa o fluxo de vídeo e o fluxo de áudio, realizando assim a conversão em dados (dados de arquivo) de um formato de arquivo para gravação.

[00369] A unidade de demultiplexação (DMUX) 1413 demultiplexa o fluxo de bits no qual o fluxo de vídeo e o fluxo de áudio são multiplexados com um método correspondente à multiplexação pela unidade de multiplexação (MUX) 1412. Ou seja, a unidade de demultiplexação (DMUX) 1413 extrai o fluxo de vídeo e o fluxo de áudio (separa o fluxo de vídeo e o fluxo de áudio) do fluxo de bits lido do buffer de fluxo 1414. Ou seja, a unidade de demultiplexação (DMUX) 1413 pode converter o formato do fluxo por multiplexação inversa (conversão inversa da conversão pela unidade de multiplexação (MUX) 1412). Por exemplo, a unidade de demultiplexação (DMUX) 1413 adquire um fluxo de transporte fornecido a partir da conectividade 1321, o modem de banda larga 1333, ou similar através do buffer de fluxo 1414, por exemplo, e demultiplexa o fluxo de transporte, podendo assim realizar conversão em um fluxo de vídeo e um fluxo de áudio. Além disso, por exemplo, a unidade de demultiplexação (DMUX) 1413 adquire, através do buffer de fluxo 1414, dados de arquivo lidos de vários meios de gravação pela conectividade 1321, por exemplo, e demultiplexa os dados de arquivo, podendo assim realizar conversão em um fluxo de vídeo e um fluxo de áudio.

[00370] O buffer de fluxo 1414 armazena em buffer o fluxo de bits. Por exemplo, o buffer de fluxo 1414 armazena em buffer um fluxo de transporte fornecido da unidade de multiplexação (MUX) 1412 e fornece o fluxo de transporte para, por exemplo, a conectividade 1321, o modem de banda larga 1333 ou similar em um momento predeterminado ou com base em uma solicitação externa ou similar.

[00371] Além disso, por exemplo, o buffer de fluxo 1414 armazena em

Petição 870190062895, de 05/07/2019, pág. 93/149 / 102 buffer dados de arquivo da unidade de multiplexação (MUX) 1412, fomece os dados de arquivo para, por exemplo, a conectividade 1321 ou similar em um momento predeterminado ou com base em uma solicitação externa ou similar, e grava os dados de arquivo em vários meios de gravação.

[00372] Além disso, o buffer de fluxo 1414 armazena em buffer um fluxo de transporte adquirido através, por exemplo, da conectividade 1321, do modem de banda larga 1333 ou similar, e fomece o fluxo de transporte para a unidade de demultiplexação (DMUX) 1413 em um momento predeterminado ou com base em uma solicitação externa ou similar.

[00373] Além disso, o buffer de fluxo 1414 armazena em buffer dados de arquivo lidos de vários meios de gravação, por exemplo, na conectividade 1321 ou similar, e fomece os dados de arquivo para a unidade de demultiplexação (DMUX) 1413 em um momento predeterminado ou com base em uma solicitação externa ou similar.

[00374] Em seguida, será descrito um exemplo da operação do processador de vídeo 1332 com tal configuração. Por exemplo, o sinal de vídeo introduzido da conectividade 1321 ou similar no processador de vídeo 1332 é convertido em dados de imagem digital de um formato predeterminado tal como o formato 4:2:2Y/Cb/Cr na unidade de processamento de entrada de vídeo 1401, e é gravada sequencialmente na memória de quadro 1405. Os dados de imagem digital são lidos pela primeira unidade de dimensionamento de imagem 1402 ou pela segunda unidade de dimensionamento de imagem 1403, e são submetidos a uma conversão de formato para um formato predeterminado, tal como 4:2:0Y/Cb/Cr, e um processo de dimensionamento, e novamente gravados na memória de quadro 1405. Os dados de imagem são codificados pelo mecanismo de codificação e decodificação 1407 e gravados como um fluxo de vídeo no buffer de vídeo ES 1408A.

[00375] Além disso, o sinal de áudio introduzido da conectividade

Petição 870190062895, de 05/07/2019, pág. 94/149 / 102

1321 ou similar no processador de vídeo 1332 é codificado pelo codificador de áudio 1410 e gravado como um fluxo de áudio no buffer de áudio ES 1409A.

[00376] O fluxo de vídeo do buffer de vídeo ES 1408A e o fluxo de áudio do buffer de áudio ES 1409A são lidos pela unidade de multiplexação (MUX) 1412 para serem multiplexados, e convertidos em um fluxo de transporte, dados de arquivo ou similares. O fluxo de transporte gerado pela unidade de multiplexação (MUX) 1412 é armazenado em buffer no buffer de fluxo 1414 e, em seguida, é enviado para uma rede externa por meio, por exemplo, da conectividade 1321, do modem de banda larga 1333 ou similar. Além disso, os dados de arquivo gerados pela unidade de multiplexação (MUX) 1412 são armazenados em buffer no buffer de fluxo 1414, e então são enviados para, por exemplo, a conectividade 1321 ou similares, e gravados em vários meios de gravação.

[00377] Além disso, o fluxo de transporte introduzido da rede externa no processador de vídeo 1332 através, por exemplo, da conectividade 1321, do modem de banda larga 1333 ou similar, é armazenado em buffer no buffer de fluxo 1414 e depois demultiplexado pela unidade de demultiplexação (DMUX) 1413. Além disso, por exemplo, os dados de arquivo lidos de vários meios de gravação, por exemplo, na conectividade 1321 ou similares, e introduzidos no processador de vídeo 1332 são armazenados em buffer no buffer de fluxo 1414 e, em seguida, demultiplexados pela unidade de demultiplexação (DMUX) 1413. Ou seja, o fluxo de transporte ou dados de arquivo introduzidos no processador de vídeo 1332 é separado em um fluxo de vídeo e um fluxo de áudio pela unidade de demultiplexação (DMUX) 1413.

[00378] O fluxo de áudio é fornecido ao decodificador de áudio 1411 através do buffer de áudio ES 1409B a ser decodificado, e um sinal de áudio é reproduzido. Além disso, o fluxo de vídeo é gravado no buffer de vídeo ES

Petição 870190062895, de 05/07/2019, pág. 95/149 / 102

1408B, e então sequencialmente lido pelo mecanismo de codificação e decodificação 1407 para ser decodificado, e gravado na memória de quadro 1405. Os dados de imagem decodificados são submetidos a um processamento de dimensionamento pela segunda unidade de dimensionamento de imagem 1403 e gravados na memória de quadro 1405. Em seguida, os dados de imagem decodificados são lidos pela unidade de processamento de saída de vídeo 1404, submetidos a conversão de formato para um formato predeterminado tal como o formato 4:2:2Y/Cb/Cr, e adicionalmente convertidos em um sinal analógico, e um sinal de vídeo é reproduzido e emitido.

[00379] No caso em que a presente tecnologia é aplicada ao processador de vídeo 1332 configurado como descrito acima, é suficiente que a presente tecnologia de acordo com cada uma das modalidades descritas acima seja aplicada ao mecanismo de codificação e decodificação 1407. Ou seja, por exemplo, o mecanismo de codificação e decodificação 1407 pode ter a função do dispositivo de codificação de imagem 100 ou o dispositivo de decodificação de imagem 200 descrito acima, ou as funções de ambos. Ao fazê-lo, o processador de vídeo 1332 pode obter um efeito similar a cada uma das modalidades descritas acima com referência às Figs. 10 a 25.

[00380] Deve-se observar que no mecanismo de codificação e decodificação 1407, a presente tecnologia (em outras palavras, a função do dispositivo de codificação de imagem 100 ou a função do dispositivo de decodificação de imagem 200, ou ambas) pode ser implementada por hardware tal como um circuito lógico, pode ser implementada por software, como um programa embutido, ou pode ser implementada por hardware e software.

(Outro exemplo de configuração do processador de vídeo) [00381] A Fig. 33 ilustra um outro exemplo da configuração esquemática do processador de vídeo 1332 ao qual a presente tecnologia é

Petição 870190062895, de 05/07/2019, pág. 96/149 / 102 aplicada. No caso do exemplo da Fig. 33, o processador de vídeo 1332 tem uma função de codificar e decodificar dados de vídeo com um formato predeterminado.

[00382] Especificamente, como ilustrado na Fig. 33, o processador de vídeo 1332 inclui uma unidade de controle 1511, uma interface de exibição 1512, um mecanismo de exibição 1513, um mecanismo de processamento de imagem 1514 e uma memória interna 1515. Além disso, o processador de vídeo 1332 inclui um mecanismo de codec 1516, uma interface de memória 1517, uma unidade de multiplexação e demultiplexação (MUX DMUX) 1518, uma interface de rede 1519 e uma interface de vídeo 1520.

[00383] A unidade de controle 1511 controla a operação de cada parte de processamento no processador de vídeo 1332, como a interface de exibição 1512, o mecanismo de exibição 1513, o mecanismo de processamento de imagem 1514 e o mecanismo de codec 1516.

[00384] Como ilustrado na Fig. 33, a unidade de controle 1511 inclui, por exemplo, uma CPU principal 1531, uma sub CPU 1532 e um controlador de sistema 1533. A CPU principal 1531 executa um programa ou similar para controlar a operação de cada parte de processamento no processador de vídeo 1332. A CPU principal 1531 gera um sinal de controle de acordo com o programa ou similar e fornece o sinal de controle a cada parte de processamento (ou seja, controla a operação de cada parte de processamento). A sub CPU 1532 desempenha um papel auxiliar à CPU principal 1531. Por exemplo, a sub CPU 1532 executa um processo-filho, uma sub-rotina ou similares do programa ou similar executado pela CPU principal 1531. O controlador de sistema 1533 controla operações da CPU principal 1531 e da sub CPU 1532, tal como especificando programas a serem executados pela CPU principal 1531 e a sub CPU 1532.

[00385] Sob o controle da unidade de controle 1511, a interface de exibição 1512 envia dados de imagem para, por exemplo, a conectividade

Petição 870190062895, de 05/07/2019, pág. 97/149 / 102

1321 ou similar. Por exemplo, a interface de exibição 1512 converte os dados de imagem de dados digitais em um sinal analógico para fazer um sinal de vídeo reproduzido, e envia o sinal, ou os dados de imagem dos dados digitais como estão, para um dispositivo de monitor ou similar da conectividade 1321. [00386] Sob o controle da unidade de controle 1511, o mecanismo de exibição 1513 realiza vários tipos de processamento de conversão, como conversão de formato, conversão de tamanho e conversão de gama de cor nos dados de imagem de modo que os dados de imagem se conformem às especificações de hardware do dispositivo de monitor ou similar que exibe a imagem.

[00387] Sob o controle da unidade de controle 1511, o mecanismo de processamento de imagem 1514 realiza processamento de imagem predeterminado nos dados de imagem, por exemplo, processamento de filtro para melhoria da qualidade de imagem ou similar.

[00388] A memória interna 1515 é uma memória provida dentro do processador de vídeo 1332 e compartilhada pelo mecanismo de exibição 1513, o mecanismo de processamento de imagem 1514 e o mecanismo de codec 1516. A memória interna 1515 é usada para trocar dados entre o mecanismo de exibição 1513, o mecanismo de processamento de imagem 1514 e o mecanismo de codec 1516, por exemplo. Por exemplo, a memória interna 1515 armazena dados fornecidos a partir do mecanismo de exibição 1513, do mecanismo de processamento de imagem 1514 ou do mecanismo de codec 1516 e envia os dados para o mecanismo de exibição 1513, o mecanismo de processamento de imagem 1514 ou o mecanismo de codec 1516 conforme necessário (por exemplo, em resposta a uma solicitação). A memória interna 1515 pode ser implementada por qualquer dispositivo de armazenamento, mas em geral, a memória interna 1515 é frequentemente usada para armazenar dados de pequena capacidade tais como dados de imagem em uma base de bloco e parâmetros, de modo que a memória interna

Petição 870190062895, de 05/07/2019, pág. 98/149

90/102

1515 seja desejavelmente implementada por um memória semicondutora de uma capacidade relativamente pequena (por exemplo, em comparação com a memória externa 1312), mas alta velocidade de resposta, por exemplo, uma memória estática de acesso aleatório (SRAM).

[00389] O mecanismo de codec 1516 realiza processamento relacionado à codificação e decodificação de dados de imagem. O formato de codificação e descodificação suportado pelo mecanismo de codec 1516 é arbitrário e o número de formatos pode ser um ou plural. Por exemplo, o mecanismo de codec 1516 pode ter funções de codec de uma pluralidade de formatos de codificação e decodificação, e pode codificar dados de imagem ou decodificar dados codificados com um selecionado dos formatos.

[00390] No exemplo ilustrado na Fig. 33, o mecanismo de codec 1516 inclui, como um bloco funcional de processamento relacionado ao codec, por exemplo, Vídeo MPEG-2 1541, AVC/H.264 1542, HEVC/H.265 1543, HEVC/H.265 (Dimensionável) 1544, HEVC/H.265 (Multivisualizações) 1545, e MPEG-DASH 1551.

[00391] O vídeo MPEG-2 1541 é um bloco funcional que codifica e decodifica os dados de imagem com o formato MPEG-2. O AVC/H.264 1542 é um bloco funcional que codifica e decodifica os dados de imagem com o formato AVC. O HEVC/H.265 1543 é um bloco funcional que codifica e decodifica os dados de imagem com o formato HEVC. O HEVC/H.265 (dimensionável) 1544 é um bloco funcional que realiza codificação dimensionável e decodificação dimensionável de dados de imagem com o formato HEVC. O HEVC/H.265 (Multivisualizações) 1545 é um bloco funcional que realiza codificação por multivisualizações e decodificação por multivisualizações dados de imagem com o formato HEVC.

[00392] O MPEG-DASH 1551 é um bloco funcional que transmite e recebe dados de imagem com o formato de Transferência Adaptativa Dinâmica sobre HTTP de MPEG (MPEG-DASH). MPEG-DASH é uma

Petição 870190062895, de 05/07/2019, pág. 99/149 / 102 tecnologia que realiza transferência de vídeo usando o protocolo de transferência de hipertexto (HTTP) e, como uma de suas características, seleciona e transmite, com base em segmento, um apropriado de uma pluralidade de dados codificados com diferentes resoluções e similares preparados antecipadamente. O MPEG-DASH 1551 realiza a geração de um fluxo em conformidade com um controle de transmissão padrão do fluxo e similares, e o Vídeo MPEG-2 1541 para o HEVC/H.265 (Multivisualizações) 1545 é usado para codificação e decodificação de dados de imagem.

[00393] A interface de memória 1517 é uma interface para a memória externa 1312. Dados fornecidos a partir do mecanismo de processamento de imagem 1514 e do mecanismo de codec 1516 são fornecidos para a memória externa 1312 através da interface de memória 1517. Além disso, os dados lidos da memória externa 1312 são fornecidos ao processador de vídeo 1332 (o mecanismo de processamento de imagem 1514 ou o mecanismo de codec 1516) através da interface de memória 1517.

[00394] A unidade de multiplexação e demultiplexação (MUX DMUX) 1518 realiza multiplexação e demultiplexação de vários dados relacionados a uma imagem, como um fluxo de bits de dados codificados, dados de imagem e um sinal de vídeo. Métodos de multiplexação e demultiplexação são arbitrários. Por exemplo, no momento da multiplexação, a unidade de multiplexação e demultiplexação (MUX DMUX) 1518 não apenas pode combinar uma pluralidade de dados em um, mas também pode adicionar informações de cabeçalho predeterminadas ou similares aos dados. Além disso, no momento da demultiplexação, a unidade de multiplexação e demultiplexação (MUX DMUX) 1518 não apenas pode dividir um dado em uma pluralidade de dados, mas também pode adicionar informações de cabeçalho predeterminadas ou similares a cada dado dividido. Ou seja, a unidade de multiplexação e demultiplexação (MUX DMUX) 1518 pode converter o formato dos dados por multiplexação e demultiplexação. Por

Petição 870190062895, de 05/07/2019, pág. 100/149 / 102 exemplo, a unidade de multiplexação e demultiplexação (MUX DMUX) 1518 multiplexa fluxos de bits, podendo assim realizar a conversão para o fluxo de transporte que é o fluxo de bits do formato para transferência, e os dados (dados de arquivo) do formato de arquivo para gravação. Evidentemente, a conversão inversa também é possível pela demultiplexação.

[00395] A interface de rede 1519 é uma interface para o modem de banda larga 1333, a conectividade 1321 e similares, por exemplo. A interface de vídeo 1520 é uma interface para a conectividade 1321, a câmera 1322 e similares, por exemplo.

[00396] Em seguida, será descrito um exemplo da operação do processador de vídeo 1332. Por exemplo, quando um fluxo de transporte é recebido da rede externa através da conectividade 1321, o modem de banda larga 1333 ou similar, o fluxo de transporte é fornecido à unidade de multiplexação e demultiplexação (MUX DMUX) 1518 através da interface de rede 1519 para ser demultiplexado, e decodificado pelo mecanismo de codec 1516. Os dados de imagem obtidos por decodificação pelo mecanismo de codec 1516 são, por exemplo, submetidos a processamento de imagem predeterminado pelo mecanismo de processamento de imagem 1514, submetidos a uma conversão predeterminada pelo mecanismo de exibição 1513, e fornecidos, por exemplo, à conectividade 1321 ou similar, através da interface de exibição 1512, e a imagem é exibida em um monitor. Além disso, por exemplo, os dados de imagem obtidos por decodificação pelo mecanismo de codec 1516 são recodificados pelo mecanismo de codec 1516, multiplexados pela unidade de multiplexação e demultiplexação (MUX DMUX) 1518 para serem convertidos em dados de arquivo, enviados para, por exemplo, a conectividade 1321 ou similar através da interface de vídeo 1520 e gravados em vários meios de gravação.

[00397] Além disso, por exemplo, os dados de arquivo dos dados codificados nos quais os dados de imagem são codificados, lidos do meio de

Petição 870190062895, de 05/07/2019, pág. 101/149 / 102 gravação (não ilustrado) pela conectividade 1321 ou similar, são fornecidos à unidade de multiplexação e demultiplexação (MUX DMUX) 1518 através da interface de vídeo 1520 para serem demultiplexados, e decodificados pelo mecanismo de codec 1516. Os dados de imagem obtidos por decodificação pelo mecanismo de codec 1516 são submetidos a processamento de imagem predeterminado pelo mecanismo de processamento de imagem 1514, submetidos a uma conversão predeterminada pelo mecanismo de exibição 1513, e fornecidos, por exemplo, à conectividade 1321 ou similar, através da interface de exibição 1512, e a imagem é exibida no monitor. Além disso, por exemplo, os dados de imagem obtidos por decodificação pelo mecanismo de codec 1516 são recodificados pelo mecanismo de codec 1516, multiplexados pela unidade de multiplexação e demultiplexação (MUX DMUX) 1518 para serem convertidos em um fluxo de transporte, fornecidos para, por exemplo, a conectividade 1321, o modem de banda larga 1333 ou similar através da interface de vídeo 1519, e transmitidos para um outro dispositivo (não ilustrado).

[00398] Deve-se observar que os dados de imagem e outros dados são trocados entre as partes de processamento no processador de vídeo 1332 usando, por exemplo, a memória interna 1515 e a memória externa 1312. Além disso, o módulo de gerenciamento de energia 1313 controla o fornecimento de energia para a unidade de controle 1511, por exemplo.

[00399] No caso em que a presente tecnologia é aplicada ao processador de vídeo 1332 configurado como descrito acima, é suficiente que a presente tecnologia de acordo com cada uma das modalidades descritas acima seja aplicada ao mecanismo de codec 1516. Ou seja, por exemplo, é suficiente que o mecanismo de codec 1516 tenha a função do dispositivo de codificação de imagem 100 ou o dispositivo de decodificação de imagem 200 descrito acima, ou as funções de ambos. Ao fazê-lo, o processador de vídeo 1332 pode obter um efeito similar a cada uma das modalidades descritas

Petição 870190062895, de 05/07/2019, pág. 102/149 / 102 acima com referência às Figs. 10 a 25.

[00400] Deve-se observar que no mecanismo de codec 1516, a presente tecnologia (em outras palavras, a função do dispositivo de codificação de imagem 100) pode ser implementada por hardware tal como um circuito lógico, pode ser implementada por software, como um programa embutido, ou pode ser implementada por hardware e software.

[00401] Dois exemplos foram descritos da configuração do processador de vídeo 1332 acima; no entanto, a configuração do processador de vídeo 1332 é arbitrária e pode ser diferente dos dois exemplos acima. Além disso, o processador de vídeo 1332 pode ser configurado como um único chip semicondutor, mas também pode ser configurado como uma pluralidade de chips semicondutores. Por exemplo, pode ser usado um LSI em camadas tridimensional, no qual uma pluralidade de semicondutores é colocada em camadas. Além disso, o processador de vídeo 1332 pode ser implementado por uma pluralidade de LSIs.

(Exemplo de aplicação ao dispositivo) [00402] O conjunto de vídeo 1300 pode ser incorporado em vários dispositivos que processam dados de imagem. Por exemplo, o conjunto de vídeo 1300 pode ser incorporado no dispositivo de televisão 900 (Fig. 27), no telefone celular 920 (Fig. 28), no dispositivo de gravação/reprodução 940 (Fig. 29), no dispositivo de formação de imagem 960 (Fig. 30) e similares. Ao incorporar o conjunto de vídeo 1300 em um dispositivo, o dispositivo pode obter um efeito similar a cada uma das modalidades descritas acima com referência às Figs. 10 a 25.

[00403] Deve-se observar que mesmo uma parte de cada componente do conjunto de vídeo 1300 descrito acima pode ser implementada como uma configuração à qual a presente tecnologia é aplicada, desde que a parte inclua o processador de vídeo 1332. Por exemplo, apenas o processador de vídeo 1332 pode ser implementado como um processador de vídeo ao qual a

Petição 870190062895, de 05/07/2019, pág. 103/149 / 102 presente tecnologia é aplicada. Além disso, por exemplo, como descrito acima, o processador indicado pela linha pontilhada 1341, o módulo de vídeo 1311, ou similar pode ser implementado como um processador, um módulo ou similar ao qual a presente tecnologia é aplicada. Além disso, por exemplo, o módulo de vídeo 1311, a memória externa 1312, o módulo de gerenciamento de energia 1313 e o módulo frontal 1314 podem ser combinados e implementados como uma unidade de vídeo 1361 à qual a presente tecnologia é aplicada. Mesmo no caso de qualquer uma das configurações, pode ser obtido um efeito similar a cada uma das modalidades descritas acima com referência às Figs. 10 a 25.

[00404] Ou seja, desde que as configurações incluam o processador de vídeo 1332, qualquer uma das configurações pode ser incorporada em vários dispositivos que processam dados de imagem de forma similar ao caso do conjunto de vídeo 1300. Por exemplo, o processador de vídeo 1332, o processador indicado pela linha pontilhada 1341, o módulo de vídeo 1311 ou a unidade de vídeo 1361 pode ser incorporado no dispositivo de televisão 900 (Fig. 27), no telefone celular 920 (Fig. 28), no dispositivo de gravação/reprodução 940 (Fig. 29), no dispositivo de formação de imagem 960 (Fig. 30) e similares. Dessa forma, ao incorporar qualquer uma das configurações às quais a presente tecnologia é aplicada, o dispositivo pode obter um efeito similar a cada uma das modalidades descritas acima com referência às Figs. 10 a 25, similarmente ao caso do conjunto de vídeo 1300. <Oitava modalidado [00405] Além disso, a presente tecnologia também pode ser aplicada a um sistema de rede incluindo uma pluralidade de dispositivos. A Fig. 34 ilustra um exemplo de uma configuração esquemática do sistema de rede ao qual a presente tecnologia é aplicada.

[00406] Um sistema de rede 1600 ilustrado na Fig. 34 é um sistema no qual os dispositivos trocam informações relativas a uma imagem (imagem em

Petição 870190062895, de 05/07/2019, pág. 104/149 / 102 movimento) através de uma rede. Um serviço de nuvem 1601 do sistema de rede 1600 é um sistema que provê um serviço relacionado à imagem (imagem em movimento) para terminais tais como um computador 1611, um dispositivo de audiovisual (AV) 1612, um terminal de processamento de informações portátil 1613 e um dispositivo de internet das coisas (loT) 1614 comunicadamente conectado ao serviço de nuvem 1601. Por exemplo, o serviço de nuvem 1601 provê aos terminais um serviço de provisão de conteúdo de imagem (imagem em movimento), tal como a chamada distribuição de imagem em movimento (distribuição sob demanda ou ao vivo). Além disso, por exemplo, o serviço de nuvem 1601 provê um serviço de backup que recebe e armazena conteúdos de imagem (imagem em movimento) dos terminais. Além disso, por exemplo, o serviço de nuvem 1601 provê um serviço que faz a mediação da troca de conteúdos de imagem (imagem em movimento) entre os terminais.

[00407] A configuração física do serviço de nuvem 1601 é arbitrária. Por exemplo, o serviço de nuvem 1601 pode incluir vários servidores, como um servidor que armazena e gerencia imagens em movimento, um servidor que distribui imagens em movimento aos terminais, um servidor que adquire imagens em movimento dos terminais e um servidor que gerencia usuários (terminais) e cobranças, e uma rede arbitrária como a Internet ou uma LAN.

[00408] O computador 1611 inclui um dispositivo de processamento de informações, por exemplo, um computador pessoal, servidor, uma estação de trabalho, ou similares. O dispositivo de AV 1612 inclui um aparelho de processamento de imagem, por exemplo, um receptor de televisão, um gravador de disco rígido, um dispositivo de jogos, uma câmera, ou similares. O terminal de processamento de informações portátil 1613 inclui um dispositivo de processamento de informações portátil, por exemplo, um computador pessoal portátil, um terminal tipo tablet, um telefone celular, um telefone inteligente, ou similares. O dispositivo de loT 1614 inclui um objeto

Petição 870190062895, de 05/07/2019, pág. 105/149 / 102 arbitrário que realiza processamento relacionado a uma imagem, por exemplo, uma máquina, um eletrodoméstico, mobília, outro objeto, uma etiqueta IC, um dispositivo tipo cartão ou similares. Cada um desses terminais tem uma função de comunicação e pode conectar (estabelecer uma sessão) ao serviço de nuvem 1601 para trocar informações (em outras palavras, comunicar) com o serviço de nuvem 1601. Além disso, cada terminal pode também se comunicar com outro terminal. A comunicação entre os terminais pode ser realizada através do serviço de nuvem 1601, ou pode ser realizada sem intervenções do serviço de nuvem 1601.

[00409] Quando a presente tecnologia é aplicada ao sistema de rede 1600 como descrito acima, e dados de imagem (imagem em movimento) são trocados entre os terminais ou entre o terminal e o serviço de nuvem 1601, os dados de imagem podem ser codificados e decodificados como descrito acima em cada uma das modalidades. Ou seja, os terminais (o computador 1611 ao dispositivo de loT 1614) e o serviço de nuvem 1601 podem ter, cada um, as funções do dispositivo de codificação de imagem 100 e do dispositivo de decodificação de imagem 200 descritos acima. Dessa maneira, os terminais (o computador 1611 ao dispositivo de loT 1614) e o serviço de nuvem 1601 que trocam os dados de imagem podem obter um efeito similar ao de cada uma das modalidades descritas acima com referência às Figs. 10 a 25.

[00410] Deve-se observar que vários tipos de informações relativas a dados codificados (fluxo de bits) podem ser multiplexados nos dados codificados e transmitidos ou gravados, ou podem ser transmitidos ou gravados como dados separados associados aos dados codificados sem serem multiplexados nos dados codificados. Aqui, um termo “associado” significa que, por exemplo, ao processar um dado, os outros dados são feitos para serem utilizáveis (vinculáveis). Ou seja, os dados associados uns aos outros podem ser coletados como um dado ou podem ser dados individuais. Por exemplo, informações associadas a dados codificados (imagem) podem ser

Petição 870190062895, de 05/07/2019, pág. 106/149 / 102 transmitidas em uma linha de transmissão diferente daquela para os dados codificados (imagem). Além disso, por exemplo, as informações associadas aos dados codificados (imagem) podem ser gravadas em um meio de gravação diferente daquele para os dados codificados (imagem) (ou em uma área de gravação diferente do mesmo meio de gravação). Deve-se observar que essa “associação” pode ser uma parte dos dados, não os dados completos. Por exemplo, uma imagem e informações correspondentes à imagem podem ser associadas umas às outras em uma unidade arbitrária, como uma pluralidade de quadros, um quadro, ou uma porção dentro de um quadro.

[00411] Além disso, como descrito acima, neste relatório descritivo, os termos “combinar”, “multiplexar”, “adicionar”, “integrar”, “incluir”, “armazenar”, “colocar”, “encerrar”, “inserir” e similares significam combinar uma pluralidade de objetos em um, por exemplo, combinar dados codificados e metadados em um, e os termos significam um método do “associado” descrito acima.

[00412] Deve-se observar que os efeitos vantajosos descritos no relatório descritivo são apenas exemplos, e os efeitos vantajosos da presente tecnologia não se limitam a eles e podem incluir outros efeitos.

[00413] Além disso, a modalidade da presente descrição não está limitada às modalidades descritas acima, e várias modificações são possíveis sem sair do âmbito da presente descrição.

[00414] Deve-se observar que a presente descrição pode também adotar as seguintes configurações.

(D

Um dispositivo de processamento de imagem incluindo uma unidade de predição que gera uma imagem predita de um bloco com base em vetores de movimento de dois vértices arranjados em uma direção de um lado com um tamanho maior fora de um tamanho em uma direção longitudinal e um tamanho em uma direção lateral do bloco.

Petição 870190062895, de 05/07/2019, pág. 107/149 / 102 (2)

O dispositivo de processamento de imagem de acordo com (1), em que a unidade de predição gera a imagem predita do bloco com base nos vetores de movimento dos dois vértices arranjados na direção do lado que tem o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco, no caso em que uma imagem predita de um bloco adjacente adjacente a um vértice de um lado na direção do lado que tem o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco é gerada com base em vetores de movimento de dois vértices arranjados em uma direção de um lado que tem um tamanho maior fora de um tamanho em uma direção longitudinal e um tamanho em uma direção lateral do bloco adjacente.

(3)

O dispositivo de processamento de imagem de acordo com (1) ou (2), incluindo adicionalmente uma unidade de codificação que codifica múltiplas informações de predição de vetores que indicam que a imagem predita do bloco é gerada com base nos vetores de movimento dos dois vértices arranjados na direção do lado com o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco.

(4)

O dispositivo de processamento de imagem de acordo com (3), em que a unidade de codificação codifica as múltiplas informações de predição de vetores com base em se uma imagem predita de um bloco adjacente adjacente a um vértice de um lado na direção do lado que tem o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco é gerada ou não com base em vetores de movimento

Petição 870190062895, de 05/07/2019, pág. 108/149

100 / 102 de dois vértices arranjados em uma direção de um lado que tem um tamanho maior fora de um tamanho em uma direção longitudinal e um tamanho em uma direção lateral do bloco adjacente.

(5)

O dispositivo de processamento de imagem de acordo com (4), em que a unidade de codificação comuta contextos de um modelo de probabilidade na codificação de múltiplas informações de predição de vetores com base em se a imagem predita do bloco adjacente é gerada ou não com base nos vetores de movimento dos dois vértices arranjados na direção do lado com o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco adjacente.

(6)

O dispositivo de processamento de imagem de acordo com (4), em que a unidade de codificação comuta códigos das múltiplas informações de predição de vetores com base em se a imagem predita do bloco adjacente é gerada ou não com base nos vetores de movimento dos dois vértices arranjados na direção do lado com o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco adjacente.

(7)

O dispositivo de processamento de imagem de acordo com qualquer um de (4) a (6), em que a unidade de codificação codifica as múltiplas informações de predição de vetores para fazer com que uma quantidade de código se torne pequena no caso onde a imagem predita do bloco adjacente é gerada com base nos vetores de movimento dos dois vértices arranjados na direção do lado que tem o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco adjacente, em comparação com um caso onde a

Petição 870190062895, de 05/07/2019, pág. 109/149

101 / 102 imagem predita do bloco adjacente não é gerada com base nos vetores de movimento dos dois vértices arranjados na direção do lado que tem o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco adjacente.

(8)

O dispositivo de processamento de imagem de acordo com qualquer um de (1) a (7), em que a unidade de predição gera a imagem predita do bloco ao realizar transformação afim de uma imagem de referência do bloco com base nos vetores de movimento dos dois vértices arranjados na direção do lado com o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco.

(9)

O dispositivo de processamento de imagem de acordo com qualquer um de (1) a (8), em que o bloco é gerado pela repetição recursiva da divisão de um bloco em pelo menos uma direção horizontal ou direção vertical.

(10)

Um método de processamento de imagem incluindo uma etapa de, por um dispositivo de processamento de imagem, geração de uma imagem predita de um bloco com base em vetores de movimento de dois vértices arranjados em uma direção de um lado com um tamanho maior fora de um tamanho em uma direção longitudinal e um tamanho em uma direção lateral do bloco.

LISTA DOS SINAIS DE REFERÊNCIA

100 Dispositivo de codificação de imagem

114 Unidade de codificação

119 Unidade de predição

Petição 870190062895, de 05/07/2019, pág. 110/149

102 / 102

121, 131, 191, 193 PU

200 Dispositivo de decodificação de imagem

216 Unidade de predição

Claims (10)

1. REIVINDICAÇÕES

   1. Dispositivo de processamento de imagem, caracterizado pelo fato de que compreende uma unidade de predição que gera uma imagem predita de um bloco com base em vetores de movimento de dois vértices arranjados em uma direção de um lado com um tamanho maior fora de um tamanho em uma direção longitudinal e um tamanho em uma direção lateral do bloco.
2. 2. Dispositivo de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de predição gera a imagem predita do bloco com base nos vetores de movimento dos dois vértices arranjados na direção do lado que tem o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco, no caso em que uma imagem predita de um bloco adjacente adjacente a um vértice de um lado na direção do lado que tem o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco é gerada com base em vetores de movimento de dois vértices arranjados em uma direção de um lado que tem um tamanho maior fora de um tamanho em uma direção longitudinal e um tamanho em uma direção lateral do bloco adjacente.
3. 3. Dispositivo de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente uma unidade de codificação que codifica múltiplas informações de predição de vetores que indicam que a imagem predita do bloco é gerada com base nos vetores de movimento dos dois vértices arranjados na direção do lado com o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco.
4. 4. Dispositivo de processamento de imagem de acordo com a reivindicação 3, caracterizado pelo fato de que a unidade de codificação codifica as múltiplas informações de

   Petição 870190062895, de 05/07/2019, pág. 112/149

   2/3 predição de vetores com base em se uma imagem predita de um bloco adjacente adjacente a um vértice de um lado na direção do lado que tem o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco é gerada ou não com base em vetores de movimento de dois vértices arranjados em uma direção de um lado que tem um tamanho maior fora de um tamanho em uma direção longitudinal e um tamanho em uma direção lateral do bloco adjacente.
5. 5. Dispositivo de processamento de imagem de acordo com a reivindicação 4, caracterizado pelo fato de que a unidade de codificação comuta contextos de um modelo de probabilidade na codificação de múltiplas informações de predição de vetores com base em se a imagem predita do bloco adjacente é gerada ou não com base nos vetores de movimento dos dois vértices arranjados na direção do lado com o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco adjacente.
6. 6. Dispositivo de processamento de imagem de acordo com a reivindicação 4, caracterizado pelo fato de que a unidade de codificação comuta códigos das múltiplas informações de predição de vetores com base em se a imagem predita do bloco adjacente é gerada ou não com base nos vetores de movimento dos dois vértices arranjados na direção do lado com o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco adjacente.
7. 7. Dispositivo de processamento de imagem de acordo com a reivindicação 4, caracterizado pelo fato de que a unidade de codificação codifica as múltiplas informações de predição de vetores para fazer com que uma quantidade de código se torne pequena no caso onde a imagem predita do bloco adjacente é gerada com base nos vetores de movimento dos dois vértices arranjados na direção do lado que tem o tamanho maior fora do tamanho na direção longitudinal e o tamanho na

   Petição 870190062895, de 05/07/2019, pág. 113/149

   3/3 direção lateral do bloco adjacente, em comparação com um caso onde a imagem predita do bloco adjacente não é gerada com base nos vetores de movimento dos dois vértices arranjados na direção do lado que tem o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco adjacente.
8. 8. Dispositivo de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de predição gera a imagem predita do bloco ao realizar transformação afim de uma imagem de referência do bloco com base nos vetores de movimento dos dois vértices arranjados na direção do lado com o tamanho maior fora do tamanho na direção longitudinal e o tamanho na direção lateral do bloco.
9. 9. Dispositivo de processamento de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que o bloco é gerado pela repetição recursiva da divisão de um bloco em pelo menos uma direção horizontal ou direção vertical.
10. 10. Método de processamento de imagem, caracterizado pelo fato de que compreende uma etapa de, por um dispositivo de processamento de imagem, geração de uma imagem predita de um bloco com base em vetores de movimento de dois vértices arranjados em uma direção de um lado com um tamanho maior fora de um tamanho em uma direção longitudinal e um tamanho em uma direção lateral do bloco.