BR102019007720A2

BR102019007720A2 - aparelho de processamento de imagem e método de controle de aparelho de processamento de imagem

Info

Publication number: BR102019007720A2
Application number: BR102019007720-4A
Authority: BR
Inventors: Takama Yasufumi
Original assignee: Canon Kk
Priority date: 2018-05-07
Filing date: 2019-04-16
Publication date: 2019-11-19
Also published as: JP2019197279A; RU2735382C2; KR102387891B1; RU2019112674A3; EP3567550A1; RU2019112674A; KR20190128110A; JP7164968B2; CN110460835A; US11189041B2; CN110460835B; EP3567550B1; US20190340777A1

Abstract

a presente invenção refere-se a um aparelho de processamento de imagem que compreende: uma unidade de obtenção de imagem configurada para obter imagens com base na captura por uma pluralidade de aparelhos de captura de imagem; uma unidade de obtenção de posição configurada para obter informação representando uma posição predeterminada para a qual a pluralidade de aparelhos de captura de imagem é direcionada; uma unidade de definição de região configurada para definir, com base nas informações obtidas pela unidade de obtenção de posição, uma região para estimar uma forma tridimensional de um objeto; e uma unidade de estimativa configurada para estimar, na região definida pela unidade de definição de região, a forma tridimensional do objeto com base nas imagens obtidas pela unidade de obtenção de imagem.

Description

“APARELHO DE PROCESSAMENTO DE IMAGEM E MÉTODO DE CONTROLE DE APARELHO DE PROCESSAMENTO DE IMAGEM”

Campo da Invenção [0001] A presente descrição refere-se a um aparelho de processamento de imagem e a um método de controle do aparelho de processamento de imagem e, mais particularmente, a uma técnica de geração de uma imagem de ponto de observação virtual com base em imagens obtidas capturando um objeto a partir de uma pluralidade de direções e informação de ponto de observação virtual.

Fundamentos da Invenção [0002] Uma técnica de geração de uma imagem de ponto de observação virtual que permite a exibição de uma cena de destaque de um jogo de futebol ou basquete a partir de vários ângulos recebeu atenção. O pedido de patente japonesa No. 201 ΟΙ 34546 propõe um método de capturar um objeto a partir de múltiplos pontos de observação usando uma pluralidade de câmeras instaladas em diferentes posições e estimar a forma tridimensional do objeto usando imagens de múltiplos ponto de observação obtidas pela captura de imagens e um método de gerar uma imagem de ponto de observação virtual.

[0003] Em um caso em que uma imagem de ponto de observação virtual é gerada com base em imagens capturadas por uma pluralidade de câmeras, uma imagem de ponto de observação virtual incluindo um objeto com uma baixa precisão de forma é às vezes gerada dependendo do arranjo das câmeras e do objeto. Por exemplo, em um caso de captura de um jogo de futebol, quando as posições para as quais a pluralidade de câmeras é direcionada estão próximas de um gol, há poucas câmeras que incluem um objeto próximo ao outro gol no ângulo de observação. Neste caso, quando a técnica descrita na Patente Japonesa Submetida à Inspeção Pública No. 2010-134546 é usada, a precisão da estimativa de forma do objeto próximo ao outro gol diminui. Se uma imagem de ponto de observação virtual incluir o objeto com a baixa precisão de forma, um observador que vê a imagem de ponto de observação virtual pode sentir uma sensação desconfortável.

[0004] A presente descrição foi feita considerando o problema descrito acima, e

Petição 870190036371, de 16/04/2019, pág. 9/37

2/19 fornece uma técnica de reduzir o risco de gerar uma imagem de ponto de observação virtual incluindo um objeto com baixa precisão de forma.

Sumário da Invenção [0005] De acordo com um aspecto da presente descrição, é fornecido um aparelho de processamento de imagem compreendendo: uma unidade de obtenção de imagem configurada para obter imagens com base na captura por uma pluralidade de aparelhos de captura de imagem; uma unidade de obtenção de posição configurada para obter informação representando uma posição predeterminada para a qual a pluralidade de aparelhos de captura de imagem é direcionada; uma unidade de definição de região configurada para definir, com base na informação obtida pela unidade de obtenção de posição, uma região para estimar uma forma tridimensional de um objeto; e uma unidade de estimativa configurada para estimar, na região definida pela unidade de definição de região, a forma tridimensional do objeto com base nas imagens obtidas pela unidade de obtenção de imagem.

[0006] De acordo com um aspecto da presente descrição, é fornecido um método de controle de um aparelho de processamento de imagem, compreendendo: obter imagens com base na captura por uma pluralidade de aparelhos de captura de imagem; obter informação representando uma posição predeterminada para a qual a pluralidade de aparelhos de captura de imagem é direcionada; definir, com base na informação obtida, uma região para estimar uma forma tridimensional de um objeto; e estimar, na região definida, a forma tridimensional do objeto com base nas imagens obtidas.

[0007] De acordo com um aspecto da presente descrição, é fornecido um meio de armazenamento legível por computador que armazena um programa de computador para fazer com que um computador execute cada etapa de um método de controle de um aparelho de processamento de imagem, o método compreendendo: obter imagens baseadas na captura por uma pluralidade de aparelhos de captura de imagens; obter informação representando uma posição predeterminada para a qual a pluralidade de aparelhos de captura de imagem é direcionada; definir, com base na informação obtida, uma região para estimar uma forma tridimensional de um objeto; e estimar, na

Petição 870190036371, de 16/04/2019, pág. 10/37

3/19 região definida, a forma tridimensional do objeto com base nas imagens obtidas. [0008] Outras características serão evidentes a partir da seguinte descrição de modalidades exemplificativas com referência aos desenhos em anexo.

Breve Descrição dos Desenhos [0009] A Figura 1 é um diagrama de blocos que mostra um exemplo do arranjo de um sistema de processamento de imagem de acordo com uma modalidade.

[0010] A Figura 2 é um fluxograma que mostra o procedimento de processamento executado por um aparelho de processamento de imagem de acordo com uma modalidade.

[0011 ] A Figura 3 é uma vista esquemática que mostra um exemplo de disposição de uma pluralidade de câmeras de acordo com uma modalidade.

[0012] A Figura 4 é uma vista esquemática que mostra um exemplo de uma região de estimativa de forma de acordo com uma modalidade.

[0013] A Figura 5 é um fluxograma que mostra o procedimento detalhado de processamento na etapa S220 de acordo com uma modalidade.

[0014] A Figura 6 é uma vista esquemática relativa a um método de definição de região de estimativa de forma de acordo com uma modalidade.

[0015] A Figura 7 é um diagrama de blocos que mostra um exemplo do arranjo de hardware do aparelho de processamento de imagem de acordo com uma modalidade. Descrição Detalhada da Invenção [0016] Uma modalidade(s) exemplificativa(s) da presente descrição será agora descrita em detalhes com referência aos desenhos. Dever-se-ia notar que o arranjo relativo dos componentes, as expressões numéricas e os valores numéricos estabelecidos nestas modalidades não limitam o escopo da presente descrição, a menos que seja especificamente indicado de outro modo.

[0017] Nesta modalidade, um exemplo será descrito, no qual quando gerando uma imagem de ponto de observação virtual a partir de imagens obtidas através da captura de imagem de uma pluralidade de aparelhos de captura de imagem (câmeras) direcionados para uma posição predeterminada (ponto de fixação), uma região como o alvo de estimativa de forma é definida, a forma tridimensional de um objeto na região

Petição 870190036371, de 16/04/2019, pág. 11/37

4/19 é estimada, e uma imagem de ponto de observação virtual, incluindo o objeto na região, é gerada. Mais especificamente, as imagens obtidas pela captura de uma região alvo de captura de imagem, incluindo um objeto usando uma pluralidade de câmeras, são obtidas. A informação que representa a posição de um ponto de fixação para o qual a pluralidade de câmeras é direcionada é obtida. Uma região de exibição de objeto para exibir o objeto em um espaço tridimensional é definida com base na informação obtida representando a posição do ponto de fixação. Uma imagem de ponto de observação virtual, na qual o objeto incluído na região de exibição de objeto definida é exibido, é gerada com base nas imagens obtidas.

[Arranjo de Sistema] [0018] A Figura 1 é um diagrama de blocos que mostra um exemplo do arranjo de um sistema de processamento de imagem de acordo com esta modalidade. O sistema de processamento de imagem de acordo com esta modalidade inclui um aparelho de captura de imagem (câmera) 1, um aparelho de processamento de imagem 2, e um aparelho de exibição 3. A câmera 1 inclui uma ou mais câmeras. O aparelho de processamento de imagem 2 obtém imagens capturadas pela câmera 1 e os parâmetros de cada câmera, e estima a forma tridimensional de um objeto. O aparelho de processamento de imagem 2 gera então uma imagem de ponto de observação virtual e transmite a imagem para o aparelho de exibição 3. O aparelho de exibição 3 emite a imagem de ponto de observação virtual recebida para uma tela ou similar.

[Arranjo Funcional do Aparelho de Processamento de Imagem] [0019] Como mostrado na Figura 1, o aparelho 2 de processamento de imagem inclui uma unidade de obtenção de informação de câmera 110, uma unidade de definição de finalidade de aplicação 120, uma unidade de obtenção de ponto de fixação 125, uma unidade de definição de região de estimativa de forma 130, uma unidade de estimativa de forma 140, e uma unidade de geração de imagem de ponto de observação virtual 150. A função de cada unidade de processamento é implementada quando uma CPU 1001, que será descrita posteriormente com referência à Figura 7, executa um programa de computador lido a partir de uma ROM 1002 ou uma RAM 1003.

Petição 870190036371, de 16/04/2019, pág. 12/37

5/19 [0020] A unidade de obtenção de informação de câmera 110 obtém, a partir da câmera 1, a informação de câmera de cada câmera que forma a câmera 1, e envia a informação de câmera obtida para a unidade de estimativa de forma 140. Uma imagem capturada por cada câmera é também introduzida na unidade de estimativa de forma 140. A unidade de definição de finalidade de aplicação 120 define a informação de finalidade de aplicação de um resultado de estimativa de forma por uma operação de usuário utilizando um aparelho de entrada 1006, tal como um teclado a ser descrito posteriormente, e transmite a informação de finalidade de aplicação definida para a unidade de definição de região de estimativa de forma 130. A unidade de obtenção de ponto de fixação 125 calcula e obtém a informação de um ponto de fixação representando um ponto a ser fixado. A unidade de definição de região de estimativa de forma 130 define a informação da região de estimativa de forma de acordo com a informação do ponto de fixação e a informação de finalidade de aplicação, e envia a informação de região de estimativa de forma definida para a unidade de estimativa de forma 140.

[0021 ] A unidade de estimativa de forma 140 estima a forma tridimensional de um objeto na região de estimativa de forma, e transmite a informação da forma tridimensional estimada (dados de forma tridimensional) para a unidade de geração de imagem de ponto de observação virtual 150. A unidade de geração de imagem de ponto de observação virtual 150 gera uma imagem de ponto de observação virtual utilizando a informação de uma entrada de ponto de observação virtual por uma operação de usuário utilizando o aparelho de entrada 1006 tal como um mouse, a informação de câmera obtida pela unidade de obtenção de informação de câmera 110, e a informação da forma tridimensional estimada. A imagem de ponto de observação virtual gerada é então enviada para o aparelho de exibição 3. O aparelho de exibição 3 transmite a imagem de ponto de observação virtual recebida para a tela de exibição de uma tela ou similar.

[Arranjo de Hardware do Aparelho de Processamento de Imagem] [0022] Um exemplo do arranjo de hardware do aparelho de processamento de imagem de acordo com uma modalidade da presente descrição será aqui descrito

Petição 870190036371, de 16/04/2019, pág. 13/37

6/19 com referência à Figura 7. O aparelho de processamento de imagem 2 inclui a CPU 1001, a ROM 1002, a RAM 1003, uma memória de armazenamento 1004, e um barramento 1005, e é conectado ao aparelho de entrada 1006 e ao aparelho de exibição 3.

[0023] A CPU 1001 controla vários tipos de operações pelos blocos funcionais descritos acima do aparelho de processamento de imagem 2 de acordo com esta modalidade. O conteúdo do controle é instruído por um programa na ROM 1002 ou na RAM 1003 a ser descrita posteriormente. Além disso, a CPU 1001 também pode operar uma pluralidade de programas de computador em paralelo. A ROM 1002 armazena dados e programas de computador que armazenam o procedimento de controle pela CPU 1001. A RAM 1003 armazena programas de controle a serem processados pela CPU 1001, e também fornece uma área de trabalho para vários dados quando a CPU 1001 executa vários tipos de controle. As funções dos códigos de programa armazenados no meio de gravação, tal como a ROM 1002 ou a RAM 1003, são lidas e executadas pela CPU 1001 e, assim, implementadas. O tipo de meio de gravação não é limitado.

[0024] O dispositivo de armazenamento 1004 pode armazenar vários dados e similares. O dispositivo de armazenamento 1004 inclui um meio de gravação, tal como um disco rígido, um disquete, um disco óptico, um disco magnético, um disco magneto-óptico, uma fita magnética ou um cartão de memória não volátil, e um acionador que aciona o meio de gravação e registra informação. Os programas e dados de computador armazenados são carregados na RAM 1003, conforme necessário, de acordo com uma instrução a partir de um teclado ou similar, ou com uma instrução de vários tipos de programas de computador.

[0025] O barramento 1005 é um barramento de dados ou similar conectado a cada elemento constituinte, e implementa a comunicação entre os elementos constituintes e também implementa a troca de informações em alta velocidade. O aparelho de entrada 1006 fornece vários tipos de ambientes de entrada pelo usuário. Embora um teclado, um mouse e similares possam ser considerados para fornecer vários tipos de ambientes de operação de entrada, um painel sensível ao toque, uma caneta stylus

Petição 870190036371, de 16/04/2019, pág. 14/37

7/19 ou similar também pode ser usado. O aparelho de exibição 3 é formado por uma tela de cristal líquido ou similar, e exibe ao usuário os estados de vários tipos de operações de entrada e resultados de cálculo de acordo com estes. Nota-se que o arranjo descrito acima é meramente um exemplo, e o arranjo não está limitado ao arranjo descrito.

[Processamento] [0026] O procedimento de processamento executado pelo aparelho de processamento de imagem 2 de acordo com esta modalidade será descrito a seguir com referência ao fluxograma da Figura 2. Neste fluxograma, a etapa S210 é uma etapa de obter a informação de câmera de cada câmera a partir da câmera 1. A etapa S220 é uma etapa de definir uma região para estimar a forma de um objeto. A etapa S230 é uma etapa de estimar a forma de um objeto na região definida. A etapa S240 é uma etapa da gerar uma imagem de ponto de observação virtual usando o resultado da estimativa de forma, a informação de câmera, e as imagens. O procedimento detalhado será descrito abaixo.

<S210>

[0027] Na etapa S210, a unidade de obtenção de informação de câmera 110 obtém, como informação de câmera a partir da câmera 1, as imagens capturadas pelas câmeras e parâmetros extrínsecos e parâmetros intrínsecos como a informação de câmera das câmeras. Aqui, os parâmetros extrínsecos são as informações da posição e orientação da câmera. Os parâmetros intrínsecos são as informações da distância focal e do centro de imagem da câmera.

[0028] A Figura 3 mostra um exemplo do arranjo da câmera 1 de acordo com esta modalidade. Nesta modalidade, uma pluralidade de câmeras 310 é disposta para envolver um campo de esportes 320. Contudo, o alvo de captura de imagem, o arranjo de câmera, e o número de câmeras não estão limitados a estes. A câmera 1 é formada por uma ou mais câmeras 310, e cada câmera é definida para observar um ponto de fixação 330. O processamento de acordo com esta modalidade precisa de ao menos uma câmera. No entanto, o número de câmeras não tem um limite superior. Além disso, diferentes pontos de fixação e câmeras configuradas para observá-los podem

Petição 870190036371, de 16/04/2019, pág. 15/37

8/19 ser adicionados. Ou seja, a pluralidade de câmeras 1 instaladas nos locais dos alvos de captura de imagem pode incluir um grupo de câmeras direcionado para um determinado ponto de fixação e um grupo de câmeras direcionado para outro ponto de fixação.

[0029] Nesta modalidade, o eixo x de um sistema de coordenadas mundiais 340 é paralelo à direção lateral do lado longo do campo de esportes 320, o eixo y é paralelo à direção do lado curto, e o eixo z é vertical ao plano xy. O tamanho real do campo de esportes 320 pode ser definido, por exemplo, fazendo com que o usuário insira manualmente o comprimento na direção do lado longo, o comprimento na direção do lado curto, e a altura na direção vertical com antecedência usando um aparelho de entrada, tal como um mouse ou um teclado.

< S220 >

[0030] Na etapa S220, a unidade de definição de região de estimativa de forma 130 define uma região de estimativa de forma que é o alvo da estimativa da forma tridimensional de um objeto. Uma região de estimativa de forma 410 será descrita abaixo com referência à Figura 4. A região de estimativa de forma 410 é uma região tridimensional que é definida com base na posição do ponto de fixação 330 expresso pelo sistema de coordenadas mundiais 340 para estimar a forma tridimensional de um objeto. Por exemplo, uma faixa de distância predeterminada do ponto de fixação 330 é definida como a região de estimativa de forma 410. Quando a região de estimativa de forma 410 é expressa pela distância a partir do ponto de fixação 330, ela tem uma forma semiesférica dividida no plano x-y. Na Figura 4, no entanto, a região de estimativa de forma 410 é expressa em duas dimensões. O ponto de fixação é uma posição para a qual cada pluralidade de câmeras é direcionada. A posição de focagem de ao menos uma da pluralidade de câmeras pode ser definida com base no ponto de fixação. Por exemplo, a posição de focagem da câmera pode ser definida na posição do ponto de fixação, ou pode ser definida em uma posição separada da posição do ponto de fixação por uma distância predeterminada. Além disso, os eixos ópticos das câmeras podem se cruzar na posição do ponto de fixação, ou podem não se cruzar.

[0031] Nota-se que a forma não está limitada a essa. Por exemplo, dois vértices

Petição 870190036371, de 16/04/2019, pág. 16/37

9/19 em uma diagonal de um paralelepípedo retangular podem ser introduzidos para definir a região de estimativa de forma como um espaço tendo uma forma de paralelepípedo retangular em relação à posição do ponto de fixação 330 como o centro. Além disso, a forma não está limitada ao exemplo em relação à posição do ponto de fixação 330 como o centro, e a região de estimativa de forma pode ser definida como um espaço tendo uma forma de paralelepípedo retangular circundando a posição do ponto de fixação 330. Alternativamente, as linhas brancas no campo de esportes e as interseções das linhas podem ser detectadas usando um método de processamento de imagem, tal como transformação de Hough, para detectar uma linha, e a superfície inferior de uma região de estimativa de forma tendo uma forma de paralelepípedo retangular pode ser definida. Neste caso, a informação de altura da região de estimativa de forma pode arbitrariamente ser definida pelo usuário com base no esporte como o alvo da geração de imagem de ponto de observação virtual. No processamento de estimativa de forma da etapa S230 a ser descrito posteriormente, a forma de um objeto na região de estimativa de forma 410 é estimada. Se existir uma pluralidade de pontos de fixação, uma região de estimativa de forma é definida para cada ponto de fixação.

[0032] O processamento de definir a região de estimativa de forma na etapa S220 será descrito aqui em detalhes com referência ao fluxograma da Figura 5. Nota-se que o processamento de definição de região de estimativa de forma a ser explicado aqui é o processamento em um caso no qual uma região de estimativa de forma em relação ao ponto de fixação 330 como o centro é definida, e o seguinte processamento de definição é apropriadamente alterado de acordo com a forma da região de estimativa de forma a ser definida, ou similar. Além disso, em um caso em que o usuário designa uma região de estimativa de forma, a unidade de definição de região de estimativa de forma 130 define a região de estimativa de forma com base na entrada de informação por uma operação do usuário.

< S2200 >

[0033] Na etapa S2200, a unidade de definição da finalidade de aplicação 120 obtém a informação de finalidade de aplicação introduzida pelo usuário. A finalidade

Petição 870190036371, de 16/04/2019, pág. 17/37

10/19 de aplicação é, por exemplo, geração de imagem de ponto de observação virtual ou análise de movimento do jogador.

[0034] Na etapa S2210, a unidade de definição de região de estimativa de forma 130 divide o espaço tridimensional em uma pluralidade de voxels. Neste momento, em um caso em que a finalidade de aplicação representada pela informação de finalidade de aplicação definida pela unidade de definição de finalidade de aplicação 120 é a geração de imagem de ponto de observação virtual, cada um dos voxels é definido com um tamanho pequeno tal que um objeto possa ser exibido em uma alta resolução. Por outro lado, se a finalidade de aplicação é a análise de movimento do jogador, os voxels são definidos de forma grosseira a tal ponto que a posição de um objeto possa ser estimada. Ou seja, o tamanho dos voxels que formam o espaço tridimensional e são usados para estimar a forma tridimensional de um objeto é alterado de acordo com a finalidade de aplicação. Em um caso em que a finalidade de aplicação é gerar uma imagem de ponto de observação virtual, os voxels que formam o espaço são definidos de maneira precisa, em comparação com outra finalidade de aplicação (por exemplo, análise de movimento).

< S2220 >

[0035] Na etapa S2220, a unidade de definição de região de estimativa de forma 130 determina se a finalidade de aplicação representada pela informação de finalidade de aplicação definida pela unidade de definição de finalidade de aplicação 120 é a geração de imagem de ponto de observação virtual ou não. Se a finalidade de aplicação for a geração de imagem de ponto de observação virtual (SIM na etapa S2220), o processo avança para a etapa S2230. Por outro lado, se a finalidade de aplicação não for a geração de imagem de ponto de observação virtual, mas, por exemplo, a análise de movimento do jogador (NÃO na etapa S2220), o processo avança para a etapa S2231.

< S2230 >

[0036] Na etapa S2230, a unidade de obtenção de ponto de fixação 125 obtém a informação da posição (coordenadas) do ponto de fixação 330 para definir voxels

Petição 870190036371, de 16/04/2019, pág. 18/37

11/19 como o alvo da estimativa de forma. As coordenadas do ponto de fixação 330 são expressas pelo sistema de coordenadas mundiais 340 e são assumidas como estando localizadas no plano (z = 0) do campo de esportes 320. As coordenadas do ponto de fixação são obtidas calculando a interseção do plano de z = 0 e o vetor de linha de visão de uma câmera, que pode ser calculado a partir do parâmetro extrínseco de uma câmera incluída nas câmeras 1. Se existir uma pluralidade de pontos de fixação, as coordenadas de cada ponto de fixação podem ser estimadas pelo mesmo método em uma câmera que constrói as câmeras que observam os pontos de fixação.

< S2240 >

[0037] Em seguida, na etapa S2240, com base na posição (coordenadas) do ponto de fixação 330 obtidas na etapa S2230, a unidade de definição de região de estimativa de forma 130 estabelece uma região (região de estimativa de forma) para estimar a forma de um objeto. Mais especificamente, todos os voxels são varridos, e uma distância tridimensional 630 entre o ponto de fixação 330 e o ponto representativo de cada voxel (por exemplo, o ponto central de cada voxel) é calculada. Em seguida, a distância tridimensional é comparada com um limite definido antecipadamente. Se a distância tridimensional for igual ou menor do que o limite, o valor do voxel é definido como 1 como a região de estimativa de forma. Quando existe uma pluralidade de pontos de fixação, um ID é definido para cada ponto de fixação, e a distância entre cada voxel e cada ponto de fixação é calculada. Se a distância até o ponto de fixação mais próximo for igual ou menor do que um limite, o ID do ponto de fixação é definido como o valor do voxel.

< S2250 >

[0038] Na etapa S2250, a unidade de definição de região de estimativa de forma 130 determina se a determinação da região de estimativa de forma está completa para todos os voxels ou não. Se a determinação estiver completa, o processamento de definição da estimativa de forma é terminado, e o processo avança para a etapa S230 na Figura 2. Por outro lado, se um voxel indeterminado permanece, o processo retorna para a etapa S2240.

[0039] Como mostrado na Figura 6, um espaço tridimensional 610 definido pelo

Petição 870190036371, de 16/04/2019, pág. 19/37

12/19 tamanho de entrada do campo de esportes 320 é preenchido com voxels 620 tendo um tamanho uniforme (resolução), e cada valor de voxel é definido como 0. Nesta modalidade, 0 é definido para o exterior da região de estimativa de forma, 1 é definido para a região de estimativa de forma de um primeiro ponto de fixação, e 2 é definido para a região de estimativa de forma de um segundo ponto de fixação. De acordo com o número de pontos de fixação, os valores de voxel são definidos de tal forma que a região de estimativa de forma de cada ponto de fixação possa ser identificada. O tamanho de cada voxel no mundo físico é definido pelo usuário com antecedência, como o tamanho do campo de esportes.

< S2231 >

[0040] Na etapa S2231, para definir todos os voxels definidos na etapa S2210 para os alvos de estimativa de forma, a unidade de definição de região de estimativa de forma 130 define os valores de todos os voxels para 1, termina o processamento de definição de região de estimativa de forma, e avança para a etapa S230 na Figura 2.

< S230 >

[0041] O processo retorna para a etapa S230 na Figura 2. Na etapa S230, a unidade de estimativa de forma 140 estima a forma tridimensional de um objeto na região de estimativa de forma definida pela unidade de definição de região de estimativa de forma 130. O processamento de estimativa de forma pela unidade de estimativa de forma 140 será descrito abaixo.

[0042] Primeiramente, uma imagem de silhueta do objeto é gerada para uma imagem obtida pela unidade de obtenção de informação de câmera 110. A imagem de silhueta pode ser gerada por um método geral tal como um método de diferença de plano de fundo para calcular a diferença da imagem de plano de fundo de uma imagem capturada obtida capturando o objeto e definindo um pixel igual ou maior do que um limite como uma silhueta (região de primeiro plano). Nesta modalidade, os valores de pixel na região de primeiro plano são 1, e os valores de pixel na região de plano de fundo são 0.

[0043] Em seguida, a informação da forma do objeto é estimada usando a imagem de silhueta e a informação de câmera. Para estimar a forma tridimensional, cada voxel

Petição 870190036371, de 16/04/2019, pág. 20/37

13/19 definido como região de estimativa de forma na etapa S220 é convertido nas coordenadas de imagem de cada câmera usando o parâmetro de câmera de cada câmera. O número de câmeras para as quais os valores de pixels na imagem de silhueta nas coordenadas após a conversão são 1 é contado. Se o número for igual ou maior do que um valor definido, o voxel é determinado como a forma do objeto. Essa determinação é executada para todos os voxels na região de estimativa de forma, estimando assim a forma tridimensional do objeto na região de estimativa de forma. Como um resultado desse processamento, os dados de volume que expressam a forma tridimensional do objeto são obtidos.

[0044] Nota-se que, em um caso em que existe uma pluralidade de pontos de fixação, em primeiro lugar, a informação de uma câmera que observa o ponto de fixação é obtida com base no ID do ponto de fixação definido em cada valor de voxel. Então, as coordenadas de cada voxel são convertidas nas coordenadas de imagem de cada câmera incluída na câmera, e o número de câmeras visíveis é contado. Se o número de câmeras for igual ou maior do que um limite definido, o voxel é determinado como a forma do objeto. Quando este processamento é repetido para todos os voxels de uma maneira similar, a forma tridimensional do objeto pode ser estimada com base na região de estimativa de forma, mesmo em um caso em que uma pluralidade de pontos de fixação é definida.

< S240 >

[0045] Na etapa S240, a unidade de geração de imagem de ponto de observação virtual 150 realiza o processamento de coloração da informação de forma (voxel tridimensional definido) estimada na etapa S230 e projeta a informação de forma no plano de imagem de um ponto de observação virtual para gerar a imagem de primeiro plano da região de objeto. A unidade de geração de imagem de ponto de observação virtual (150) executa ainda o processamento da gerar a imagem de plano de fundo a partir do ponto de observação virtual. A imagem de primeiro plano é sobreposta na imagem de plano de fundo gerada, gerando assim uma imagem de ponto de observação virtual. A imagem de ponto de observação virtual gerada é transmitida para o aparelho de exibição 3. Nota-se que o ponto de observação virtual pode ser

Petição 870190036371, de 16/04/2019, pág. 21/37

14/19 designado pelo usuário ou designado automaticamente pelo aparelho.

[0046] Nota-se que ao realizar análise de movimento, a geração de uma imagem de ponto de observação não é executada, mas a análise de movimento é realizada na etapa S240.

[Geração de Imagem de Primeiro Plano] [0047] Primeiro, para gerar a imagem de primeiro plano da imagem de ponto de observação virtual, as cores dos voxels que formam a forma tridimensional do objeto estimado na etapa S230 são calculadas usando as imagens das câmeras usadas para a captura da imagem. Primeiro, é determinado a partir de qual câmera cada voxel é visto. Neste momento, em um caso em que uma pluralidade de pontos de fixação é definida, nas câmeras que formam as câmeras que observam um ponto de fixação, é determinado qual câmera visualiza um ponto de fixação com base no ID do ponto de fixação definido como o valor de voxel. Uma câmera próxima ao ponto de observação virtual é selecionada a partir das câmeras que visualizam o voxel, e o voxel é projetado na câmera mais próxima.

[0048] A cor de um pixel mais próximo do voxel projetado é obtida e definida como a cor do voxel. Os voxels podem ser coloridos repetindo o processamento para cada voxel. Os voxels coloridos são renderizados por um método de renderização CG conhecido, gerando assim uma imagem de primeiro plano na qual o objeto na região de estimativa de forma 410 definida na etapa S230 é exibido.

[0049] Nota-se que quando a forma tridimensional do objeto é estimada usando todos os voxels definidos na etapa S2210 como os alvos de processamento, e usando o resultado, a renderização é executada ao determinar se cada voxel está localizado na região de estimativa de forma ou não, a imagem de primeiro plano da imagem de ponto de observação virtual pode ser gerada de maneira similar. Ou seja, embora a forma tridimensional do objeto seja estimada usando todos os voxels como os alvos, os alvos de renderização e exibição podem ser limitados a voxels na região alvo de exibição definida. Esta determinação pode ser realizada calculando a distância entre o ponto de fixação 330 e o ponto representativo de cada voxel que forma a forma tridimensional do objeto. Além disso, pode ser determinado se a totalidade ou parte

Petição 870190036371, de 16/04/2019, pág. 22/37

15/19 (por exemplo, o centro de gravidade) da forma tridimensional de um determinado objeto está incluída na região definida. Se está incluída, toda a forma tridimensional do objeto é definida para o alvo de exibição. Caso contrário, toda a forma tridimensional do objeto poderá ser excluída do alvo de exibição.

[0050] Uma imagem de ponto de observação virtual de todo o campo de esportes pode ser gerada através da execução de processamento de coloração não apenas na região de estimativa de forma 410, mas também para os voxels fora da região de estimativa de forma.

[0051] Além disso, a unidade de estimativa de forma 140 pode ainda estimar a forma tridimensional de um objeto fora da região de estimativa de forma em uma resolução menor do que a da forma tridimensional de um objeto na região de estimativa de forma. Ou seja, ao definir objetos em todas as regiões, incluindo o exterior da região de estimativa de forma para candidatos a estimativa de forma tridimensional, a estimativa da forma tridimensional de um objeto na região de estimativa de forma pode ser realizada preferencialmente. Em seguida, a unidade de geração de imagem de ponto de observação virtual 150 pode gerar uma imagem de ponto de observação virtual com base na forma tridimensional de um objeto na região de estimativa de forma e na forma tridimensional estimada de um objeto fora da região de estimativa de forma. Por exemplo, o tamanho (resolução) de um voxel ou como diminuir os voxels a serem coloridos pode ser alterado entre o interior da região de estimativa de forma e o exterior da região de estimativa de forma. Mais especificamente, o processamento de coloração é executado para todos os voxels na região de estimativa de forma. Quanto aos voxels fora da região de estimativa de forma, o processamento de coloração é executado, por exemplo, em relação a oito voxels adjacentes como um voxel. Isso pode reduzir o tempo de geração da imagem de ponto de observação virtual. Além disso, neste caso, um efeito de desfocar uma imagem de objeto distorcida fora da região de estimativa de forma e torná-la imperceptível pode ser obtido. Além disso, toda a região do alvo de captura de imagem pode ser dividida em uma região de estimativa de forma na qual a estimativa de forma é preferencialmente realizada, uma região de uma estimativa de forma candidata que

Petição 870190036371, de 16/04/2019, pág. 23/37

16/19 se torna o alvo da estimativa de forma quando a carga de processamento do sistema ou o tempo de processamento não é muito, e uma região de não estimativa de forma que não se torna o alvo da estimativa de forma.

[Geração de Imagem de Plano de Fundo] [0052] Em seguida, a imagem de plano de fundo da imagem de ponto de observação virtual é gerada. Primeiro, em um modelo 3D de fundo (os dados de forma tridimensional do plano de fundo), os vértices dos quatro cantos do campo de esportes são obtidos. Como o modelo 3D de fundo, um modelo CG criado antecipadamente e salvo no sistema é usado. Os quatro vértices são projetados para duas câmeras (a serem chamadas de câmera 1 e câmera 2) próximas ao ponto de observação virtual e ao sistema de coordenadas de câmera do ponto de observação virtual. A matriz de projeção 1 entre o ponto de observação virtual e a câmera 1 e a matriz de projeção 2 entre o ponto de observação virtual e a câmera 2 são calculadas usando os pontos correspondentes entre o ponto de observação virtual e a câmera 1 e entre o ponto de observação virtual e a câmera 2. Para calcular cada valor de pixel da imagem de plano de fundo do ponto de observação virtual, as coordenadas de cada valor de pixel são projetadas para as imagens de plano de fundo usando a matriz de projeção 1 e a matriz de projeção 2, e os valores de pixel dos pontos são obtidos. A média de dois valores de pixel obtidos é calculada e usada como um valor de pixel da imagem de plano de fundo.

[0053] A imagem de primeiro plano gerada é sobreposta à imagem de plano de fundo assim obtida da imagem de ponto de observação virtual, gerando assim a imagem de ponto de observação virtual. Ou seja, a imagem de ponto de observação virtual gerada é uma imagem na qual a imagem de primeiro plano do objeto na região de estimativa de forma é composta com a imagem de plano de fundo da região alvo de captura de imagem inteira. No entanto, a faixa d imagem de plano de fundo a ser gerada também pode ser limitada à região de estimativa de forma. Além disso, o método de gerar a imagem de ponto de observação virtual não está limitado a este método, e outro método pode ser usado.

[0054] Como descrito acima, de acordo com esta modalidade, a região de

Petição 870190036371, de 16/04/2019, pág. 24/37

17/19 estimativa de forma tridimensional de um objeto pode ser limitada com base na posição do ponto de fixação. A forma tridimensional do objeto na região de estimativa de forma limitada é estimada, e a imagem de ponto de observação virtual é gerada, evitando assim que a imagem de objeto distorcida seja exibida. Além disso, como a forma de objeto distorcida não é incluída no processamento de geração de imagem de primeiro plano com uma carga pesada, um efeito de redução da carga de processamento pode ser obtido.

[0055] Quando a região de estimativa de forma é comutada para cada finalidade de aplicação na etapa S2220, uma imagem ou a forma tridimensional de um objeto adequado para a finalidade pode ser gerada.

[0056] Nota-se que nesta modalidade, uma imagem ou informação de câmera é obtida a partir da câmera 1. No entanto, a presente descrição não está limitada a esta, e uma imagem ou informação de câmera pode ser temporariamente armazenada no dispositivo de armazenamento e processada. Nesta modalidade, uma imagem é enviada para o aparelho de exibição 3 e exibida. No entanto, a presente descrição não se limita a esta, e, por exemplo, uma imagem pode ser salva conectando um dispositivo de armazenamento ou pode ser impressa como uma imagem estática conectando uma impressora. Além disso, a definição da região de estimativa de forma não está limitada a esta, e pode ser feita fazendo com que o usuário (não mostrado) gere arbitrariamente a forma da superfície inferior ou a forma tridimensional. Nota-se que o ponto de fixação também pode ser definido que não no plano. Por exemplo, em um esporte tal como anéis, um ponto de fixação pode ser definido no ar.

[0057] Nota-se que nesta modalidade, um exemplo em que a região de estimativa de forma é comutada para cada finalidade de aplicação foi descrito. No entanto, a unidade de definição de finalidade de aplicação 120 pode ser omitida e pode ser utilizada uma região de estimativa de forma fixa. Por exemplo, a finalidade de aplicação pode ser limitada à “geração de imagem de ponto de observação virtual”, e a posição, forma e similares da região de estimativa de forma podem ser corrigidas. Isto pode ser implementado, por exemplo, registrando estas partes de informação em uma memória não volátil da unidade de definição de região de estimativa de forma

Petição 870190036371, de 16/04/2019, pág. 25/37

18/19

130 ou similar.

[0058] De acordo com a presente descrição, é possível reduzir o risco de gerar uma imagem de ponto de observação virtual, incluindo um objeto com baixa precisão de forma.

Outras Modalidades [0059] A modalidade(s) da presente descrição também pode ser realizada por um computador de um sistema ou aparelho que lê e executa instruções executáveis por computador (por exemplo, um ou mais programas) gravadas em um meio de armazenamento (que também pode ser chamado mais detalhadamente de um ‘meio de armazenamento legível por computador não transitório’) para executar as funções de uma ou mais das modalidades descritas acima e/ou que inclui um ou mais circuitos (por exemplo, circuito integrado de aplicação específica (ASIC)) para realizar as funções de uma ou mais das modalidades descritas acima, e por um método realizado pelo computador do sistema ou aparelho, por exemplo, lendo e executando as instruções executáveis por computador a partir do meio de armazenamento para executar as funções de uma ou mais das modalidades descritas acima e/ou controlar um ou mais circuitos para desempenhar as funções de uma ou mais das modalidades descritas acima. O computador pode compreender um ou mais processadores (por exemplo, unidade de processamento central (CPU), microprocessador (MPU)) e pode incluir uma rede de computadores separados ou processadores separados para ler e executar as instruções executáveis por computador. As instruções executáveis por computador podem ser fornecidas ao computador, por exemplo, a partir de uma rede ou meio de armazenamento. O meio de armazenamento pode incluir, por exemplo, um ou mais de um disco rígido, uma memória de acesso aleatório (RAM), uma memória somente de leitura (ROM), um armazenador de sistema de computação distribuído, um disco óptico (tal como um disco compacto (CD), disco versátil digital (DVD) ou disco Blu-ray (BD)™), um dispositivo de memória flash, um cartão de memória e similares.

[0060] Embora a presente descrição tenha sido descrita com referência a modalidades exemplificativas, entende-se que a descrição não está limitada às

Petição 870190036371, de 16/04/2019, pág. 26/37

19/19 modalidades exemplificativas descritas. O escopo das reivindicações a seguir deve estar de acordo com a interpretação mais ampla, de modo a abranger todas essas modificações e estruturas e funções equivalentes.

Claims

1. Aparelho de processamento de imagem, caracterizado pelo fato de que compreende:

uma unidade de obtenção de imagem configurada para obter imagens com base na captura por uma pluralidade de aparelhos de captura de imagem;

uma unidade de obtenção de posição configurada para obter informação representando uma posição predeterminada para a qual a pluralidade de aparelhos de captura de imagem é direcionada;

uma unidade de definição de região configurada para definir, com base na informação obtida pela unidade de obtenção de posição, uma região para estimar uma forma tridimensional de um objeto; e uma unidade de estimativa configurada para estimar, na região definida pela unidade de definição de região, a forma tridimensional do objeto com base nas imagens obtidas pela unidade de obtenção da imagem.

2/4 pela unidade de obtenção de posição e a informação de finalidade de aplicação obtida pela unidade de obtenção de informação de finalidade de aplicação.

7. Aparelho, de acordo com a reivindicação 5, caracterizado pelo fato de que a unidade de definição de região define um tamanho da região com base na informação de finalidade de aplicação obtida pela unidade de obtenção de informação de finalidade de aplicação.

8. Aparelho, de acordo com a reivindicação 7, caracterizado pelo fato de que, em um caso em que uma finalidade de aplicação representada pela informação de finalidade de aplicação obtida pela unidade de obtenção de informação de finalidade de aplicação é a geração de uma imagem baseada em um ponto de observação designado, a unidade de definição de região define um tamanho menor do que em um caso em que a finalidade de aplicação não é a geração da imagem baseada no ponto de observação designado.

9. Aparelho, de acordo com a reivindicação 5, caracterizado pelo fato de que, de acordo com a informação de finalidade de aplicação obtida pela unidade de obtenção de informação de finalidade de aplicação, a unidade de definição de região altera um tamanho de um voxel que forma um espaço tridimensional e é utilizado para estimar a forma tridimensional do objeto.

10. Aparelho, de acordo com a reivindicação 9, caracterizado pelo fato de que, em um caso em que uma finalidade de aplicação representada pela informação de finalidade de aplicação obtida pela unidade de obtenção de informação de finalidade de aplicação é a geração de uma imagem baseada em um ponto de observação designado, a unidade de definição de região define o tamanho do voxel para um tamanho menor do que aquele em um caso em que a finalidade de aplicação não é a geração da imagem baseada no ponto de observação designado.

11. Aparelho, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de estimativa pode estimar uma forma tridimensional de um objeto fora da região em uma resolução menor do que uma resolução de uma forma tridimensional de um objeto na região.

12. Aparelho, de acordo com a reivindicação 11, caracterizado

Petição 870190036371, de 16/04/2019, pág. 29/37

2. Aparelho, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de definição de região define, como a região, uma faixa de distância predeterminada a partir da posição predeterminada.

3/4 adicionalmente pelo fato de que compreende uma unidade de geração configurada para gerar uma imagem baseada em um ponto de observação designado com base na forma tridimensional estimada pela unidade de estimativa, onde a unidade de geração gera a imagem baseada no ponto de observação designado com base na forma tridimensional do objeto na região e na forma tridimensional do objeto fora da região.

13. Aparelho, de acordo com a reivindicação 1, caracterizado adicionalmente pelo fato de que compreende uma unidade de geração configurada para gerar uma imagem baseada em um ponto de observação designado com base na forma tridimensional estimada pela unidade de estimativa.

14. Método para controlar um aparelho de processamento de imagem, caracterizado pelo fato de que compreende:

obter imagens com base na captura por uma pluralidade de aparelhos de captura de imagem;

obter informação representando uma posição predeterminada para a qual a pluralidade de aparelhos de captura de imagem é direcionada;

definir, com base na informação obtida, uma região para estimar uma forma tridimensional de um objeto; e estimar, na região definida, a forma tridimensional do objeto com base nas imagens obtidas.

15. Meio de armazenamento legível por computador que armazena um programa de computador para fazer com que um computador execute cada etapa de um método para controlar um aparelho de processamento de imagem, caracterizado pelo fato de que o método compreende:

definir, com base na informação obtida, uma região para estimar uma forma tridimensional de um objeto; e

Petição 870190036371, de 16/04/2019, pág. 30/37

3. Aparelho, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de definição de região define, como a região, um espaço tendo uma forma de paralelepípedo retangular em relação à posição predeterminada como um centro.

4. Aparelho, de acordo com a reivindicação 1, caracterizado pelo fato de que, em um caso em que existe uma pluralidade de posições predeterminadas, a unidade de definição de região define a região para cada posição predeterminada.

5. Aparelho, de acordo com a reivindicação 1, caracterizado adicionalmente pelo fato de que compreende uma unidade de obtenção de informação de finalidade de aplicação configurada para obter informação de finalidade de aplicação de um resultado de estimativa da forma tridimensional do objeto pela unidade de estimativa.

6. Aparelho, de acordo com a reivindicação 5, caracterizado pelo fato de que a unidade de definição de região define a região com base na informação obtida

Petição 870190036371, de 16/04/2019, pág. 28/37

4/4 estimar, na região definida, a forma tridimensional do objeto com base nas imagens obtidas.