BR112019019526A2

BR112019019526A2 - aparelho de controle, método de controle, e meio de armazenamento

Info

Publication number: BR112019019526A2
Application number: BR112019019526A
Authority: BR
Inventors: Kato Yuji
Original assignee: Canon Kk
Priority date: 2017-09-19
Filing date: 2018-09-10
Publication date: 2020-04-22
Also published as: AU2018336341B2; US20210232307A1; JP2019056978A; US11003350B2; CA3072999A1; RU2720356C1; AU2018336341A1; KR20210006005A; US20200012421A1; KR20200002025A; EP3605295A1; CA3072999C; CN110720086A; US11586349B2; WO2019059020A1; EP3605295A4; JP6419278B1

Abstract

a presente invenção refere-se a uma unidade de controle de ponto de observação (204) que detecta uma operação de usuário em uma superfície de exibição para exibir um vídeo do ponto de observação virtual (s801) e controla pelo menos uma da posição e da orientação de um ponto de observação virtual em relação com relação à geração do vídeo do ponto de observação virtual de acordo com a operação do usuário (s805, s808, s812, s814).

Description

“APARELHO DE CONTROLE, MÉTODO DE CONTROLE, E MEIO DE ARMAZENAMENTO”

Campo da Invenção [0001] A presente invenção refere-se a um método de controlar um ponto de observação virtual.

Fundamentos da Invenção [0002] São conhecidas tecnologias de geração de vídeo com ponto de observação virtual, que geram vídeos de pontos de observação arbitrários a partir de vários vídeos capturados por várias câmeras tendo diferentes pontos de observação. Os métodos de geração de vídeos de ponto de observação virtual baseados em caminhos de movimento predeterminados dos pontos de observação virtuais e métodos de geração de vídeos de ponto de observação virtual de acordo com as posições, as atitudes e assim por diante dos pontos de observação virtuais especificados pelos espectadores ou similares são conhecidos como os métodos de geração de vídeos de ponto de observação virtual (métodos de renderização).

[0003] Com as tecnologias de geração de vídeo do ponto de observação virtual, é possível que os espectadores vejam os vídeos de alta interatividade. Em contraste, com dispositivos, tal como tablets e smartphones, que usam painéis sensíveis ao toque como interfaces principais, é difícil operar de maneira desejável os pontos de observação. PTL 1 descreve a seleção de uma das múltiplas partes de dados de coordenadas do ponto de observação e uma das múltiplas partes de dados de ponto inicial de rotação por um usuário e a introdução do ângulo de rotação e da quantidade de movimento do ponto de observação para definir o ponto de observação.

Lista de citações

Literatura de Patente [0004] PTL 1: Patente Japonesa submetida à inspeção pública No. 2015-187797 Sumário da Invenção Problema Técnico [0005] O método em PTL 1 usa muitos procedimentos de operação para configurar o ponto de observação virtual. É um objetivo da presente invenção permitir que o ponto

Petição 870190093804, de 19/09/2019, pág. 46/73

2/22 de observação virtual seja mais facilmente definido.

Solução para o Problema [0006] De modo a resolver o problema acima, um aparelho de controle de acordo com a presente invenção tem a seguinte configuração. Especificamente, o aparelho de controle inclui meio de detecção para detectar uma operação de usuário em uma superfície de exibição para exibir um vídeo do ponto de observação virtual e meio de controle para controlar ao menos uma da posição e da orientação de um ponto de observação virtual sobre a geração do vídeo do ponto de observação virtual de acordo com a operação do usuário detectada pelos meios de detecção.

Efeitos Vantajosos da Invenção [0007] De acordo com a presente invenção, é possível definir mais facilmente o ponto de observação virtual.

Breve Descrição dos Desenhos [0008] A Figura 1 é um diagrama de blocos que ilustra a configuração de hardware de um aparelho de controle 100.

[0009] A Figura 2 é um diagrama de blocos que ilustra a configuração funcional do aparelho de controle 100.

[0010] A Figura 3 é um diagrama que ilustra um exemplo de como um ponto de observação virtual é controlado em resposta a uma operação de deslizamento com um dedo em uma primeira modalidade.

[0011] A Figura 4 é um diagrama que ilustra um exemplo de como o ponto de observação virtual é controlado em resposta a uma operação de deslizamento com três dedos na primeira modalidade.

[0012] A Figura 5 é um diagrama que ilustra um exemplo de como o ponto de observação virtual é controlado em resposta a uma operação de deslizamento com dois dedos na primeira modalidade.

[0013] A Figura 6 é um diagrama que ilustra um exemplo de como o ponto de observação virtual é controlado em resposta a uma operação de “pinch-out” com dois dedos na primeira modalidade.

[0014] A Figura 7 é um fluxograma que ilustra um fluxo de processo no aparelho

Petição 870190093804, de 19/09/2019, pág. 47/73

3/22 de controle 100 da primeira modalidade.

[0015] A Figura 8 é um fluxograma ilustrando como o ponto de observação virtual é controlado de acordo com uma operação do usuário.

Descrição Detalhada da Invenção [0016] As Modalidades da presente invenção serão aqui descritas com referência aos desenhos. As modalidades descritas abaixo não são destinadas a limitar a presente invenção e todas as combinações de características descritas nas modalidades não são necessariamente essenciais para a resolução da presente invenção. Os mesmos números de referência são usados para identificar os mesmos componentes para descrição.

< Primeira Modalidade >

[0017] Um exemplo é descrito em uma primeira modalidade, na qual um usuário controla a posição, a orientação e assim por diante de um ponto de observação virtual operando uma tela de exibição (painel sensível ao toque) para gerar um vídeo do ponto de observação virtual correspondente à posição, a orientação e assim por diante do ponto de observação virtual. Na presente modalidade, “alterar a posição de uma câmera virtual” e “alterar a posição do ponto de observação virtual” são utilizados para ter o mesmo significado. Além disso, “alterar a atitude da câmera virtual” e “alterar a orientação do ponto de observação virtual” são usados para ter o mesmo significado. [0018] Na presente modalidade, o vídeo do ponto de observação virtual é um vídeo que é gerado com base em vários vídeos capturados por múltiplas câmeras que capturam imagens de seus campos (imagem capturando áreas alvo) a partir de diferentes direções e é um vídeo gerado de acordo com a posição, a atitude e assim por diante do ponto de observação virtual (a câmera virtual). O vídeo do ponto de observação virtual da presente modalidade pode ser dados de vídeo resultantes da compressão de cada quadro de imagem utilizando um determinado método de compressão de imagem em movimento, pode ser dados de vídeo resultantes da compressão de cada quadro de imagem utilizando um determinado método de compressão de imagem fixa, ou pode ser uma imagem de vídeo que não é comprimida.

Petição 870190093804, de 19/09/2019, pág. 48/73

4/22 [0019] Uma configuração de sistema exemplificativa de um aparelho de controle 100 na presente modalidade será agora descrita com referência à Figura 1. Com relação à Figura 1, uma unidade de processamento central (CPU) 101 executa programas armazenados em uma memória somente de leitura (ROM) 103 e/ou uma unidade de disco rígido (HDD) 105 utilizando uma memória de acesso aleatório (RAM) 102 como uma memória de trabalho para controlar os componentes descritos abaixo através de um barramento de sistema 112. Ela realiza vários processos descritos abaixo. Uma interface HDD (I / F) 104 é uma interface, tal como um acessório de tecnologia avançada (ATA) em série (SATA), com o qual o aparelho de controle 100 é conectado a um armazenamento secundário, tal como o HDD 105 ou uma unidade de disco óptico. A CPU 101 é capaz de ler dados a partir do HDD 105 através da interface HDD (I / F) 104 e gravar dados no HDD 105 através da interface HDD (I / F) 104. Além disso, a CPU 101 descomprime os dados armazenados no HDD 105 para a RAM 102. Além disso, a CPU 101 é capaz de armazenar uma variedade de dados na RAM 102, o que resulta da execução dos programas, no HDD 105. Uma interface de entrada (I / F) 106 é utilizada para conectar um dispositivo de entrada 107, tal como um painel sensível ao toque, um teclado, um mouse, uma câmera digital ou um digitalizador, para introduzir uma ou mais coordenadas no aparelho de controle 100. A interface de entrada (I / F) 106 é uma interface de barramento serial, tal como Barramento Universal Serial (USB) ou Instituto de Engenheiros Eletricistas e Eletrônicos (IEEE) 1394. A CPU 101 é capaz de ler dados a partir do dispositivo de entrada 107 através da I / F de entrada 106. Uma interface de saída (I / F) 108 é uma interface de saída de vídeo, tal como uma interface visual digital (DVI) ou uma interface multimídia de alta definição (HDMI) (marca registrada), com a qual um dispositivo de saída 109, tal como uma tela, é conectado ao aparelho de controle 100. A CPU 101 é capaz de fornecer dados relativos ao vídeo do ponto de observação virtual para o dispositivo de saída 109 através da I / F de saída 108 para fazer com que o dispositivo de saída 109 exiba o vídeo do ponto de observação virtual. Uma interface de rede (I / F) 110 é uma placa de rede, tal como uma placa de rede de área local (LAN), com a qual o aparelho de controle 100 é conectado a um servidor externo

Petição 870190093804, de 19/09/2019, pág. 49/73

5/22

111. A CPU 101 é capaz de ler dados a partir do servidor 111 através da I / F de rede 110.

[0020] Um exemplo será principalmente descrito na presente modalidade, em que o dispositivo de entrada 107 é o painel sensível ao toque do aparelho de controle 100. Em outras palavras, o aparelho de controle 100 pode ser um smartphone ou um terminal de tablet. Neste caso, o dispositivo de entrada 107 (o painel sensível ao toque) e o dispositivo de saída 109 (a tela de exibição) estão integrados com o aparelho de controle 100. Além disso, todos os componentes ilustrados na Figura 1 não são essenciais. Por exemplo, na reprodução do vídeo do ponto de observação virtual armazenado no HDD 105, o servidor externo 111 não é necessário. Em contraste, na geração do vídeo do ponto de observação virtual adquirido a partir do servidor externo 111, o HDD 105 não é necessário. Além disso, o aparelho de controle 100 pode incluir múltiplas CPUs 101. Além disso, o aparelho de controle 100 pode incluir uma ou mais partes de hardware dedicado diferentes da CPU 101 ou de uma unidade de processamento gráfico (GPU) e ao menos parte do processamento pela CPU 101 pode ser realizada pela GPU ou pelo hardware dedicado. O hardware dedicado é exemplificado, por exemplo, por um circuito integrado de aplicação específica (ASIC), um arranjo de portas programáveis em campo (FPGA), ou um processador de sinal digital (DSP).

[0021] Um método para controlar a câmera virtual de acordo com a intenção do usuário de acordo com uma operação do usuário utilizando o painel sensível ao toque será descrito na presente modalidade. A operação do usuário na presente modalidade deve ao menos incluir uma operação de toque, operações de deslizamento com um a três dedos, e operações de “pinch-in” e “pinch-out”.

[0022] Mesmo um iniciante é capaz de executar facilmente a operação do usuário com um dedo, enquanto é difícil inserir informações complicadas usando a operação do usuário com um dedo. É difícil executar trabalhos detalhados usando a operação do usuário com três dedos. Consequentemente, processos simples para controlar a câmera virtual são alocados para a operação do usuário com um dedo e a operação do usuário com três dedos (as operações de deslizamento). Um processo complicado

Petição 870190093804, de 19/09/2019, pág. 50/73

6/22 para controlar a câmera virtual é alocado para a operação com dois dedos.

[0023] A relação entre as operações específicas do usuário e os comportamentos da câmera virtual será descrita com referência à Figura 3 até a Figura 6. A Figura 3 ilustra como a posição e a atitude da câmera virtual são variadas em resposta à operação de deslizamento com um dedo. Em resposta à operação de deslizamento para a esquerda com um dedo para uma imagem 301 antes da operação do usuário, a posição e a atitude da câmera virtual são alteradas para exibir uma imagem 302. Aqui, a posição e a atitude da câmera virtual são variadas a partir de um ponto de observação virtual 305 para um ponto de observação virtual para a direita 306 em torno do centro de um ponto 304 em um espaço tridimensional, que é desenhado no centro de uma imagem panorâmica 303. Em outras palavras, quando o número das coordenadas na tela de exibição (uma superfície de exibição), que são especificadas simultaneamente com a operação do usuário, é um primeiro número (um), uma unidade de controle de ponto de observação 204 gira a câmera virtual em torno de uma certa coordenada alvo de acordo com o movimento da coordenada. Em outras palavras, quando o número de coordenadas na superfície de exibição, que são especificadas simultaneamente com a operação do usuário, é o primeiro número (um), a unidade de controle de ponto de observação 204 controla a câmera virtual de modo que a câmera virtual se move enquanto focando na determinada coordenada alvo de acordo com o movimento da coordenada.

[0024] Como ilustrado na Figura 3, quando a operação de deslizamento com um dedo é detectada, a amplitude de movimento da câmera virtual é limitada em um círculo 307 e a direção do movimento da câmera virtual é limitada na direção horizontal. Isto permite o movimento da câmera virtual de acordo com a intenção do usuário a ser executada, por exemplo, pelo usuário que é inexperiente em uma operação de toque ou em uma cena de uso na qual a trajetória do toque provavelmente será deslocada. Assim, é possível gerar facilmente o vídeo do ponto de observação virtual sem tremido, como em Bullet-time.

[0025] A Figura 4 ilustra como a posição da câmera virtual é variada em resposta à operação de deslizamento com três dedos. Em resposta à operação de

Petição 870190093804, de 19/09/2019, pág. 51/73

7/22 deslizamento para a direita com três dedos para uma imagem 401 antes da operação do usuário, a posição da câmera virtual é alterada para exibir uma imagem 402. Aqui, a posição da câmera virtual é movida de um ponto de observação virtual 404 para um ponto de observação virtual 405, como ilustrado em uma imagem panorâmica 403. Em outras palavras, quando o número de coordenadas na tela de exibição, que são especificadas simultaneamente com a operação do usuário, é um terceiro número (três), a unidade de controle do ponto de observação 204 controla a posição da câmera virtual para que a câmera virtual seja transladada no espaço tridimensional de acordo com a variação da coordenada.

[0026] “As três coordenadas são especificadas simultaneamente” não está limitada ao caso em que três dedos tocam simultaneamente a tela de exibição. Por exemplo, um caso em que o terceiro dedo toca a tela de exibição enquanto mantém um estado no qual dois dedos estão tocando a tela de exibição é determinado no estado em que três dedos tocam simultaneamente a tela. Como descrito acima, as múltiplas coordenadas podem ser especificadas simultaneamente, mesmo se o toque da tela de exibição for iniciado em diferentes tempos por diferentes dedos.

[0027] A unidade de controle de ponto de observação 204 da presente modalidade move a câmera virtual de modo que a quantidade de movimento do dedo (dedos) na tela de exibição seja igual à quantidade de movimento da posição de desenho no vídeo do ponto de observação virtual de um ponto tridimensional 406 identificado de acordo com uma operação do usuário. Fazer a quantidade de movimento do dedo (dedos) igual à quantidade de movimento do ponto tridimensional 406 permite ao usuário controlar a câmera virtual de forma mais intuitiva. No entanto, o controle pode ser executado de modo que a quantidade de movimento do dedo (dedos) seja diferente da quantidade de movimento da posição de desenho do ponto tridimensional 406 no vídeo do ponto de observação virtual. Além disso, na operação do usuário com três dedos, o valor médio das quantidades de movimento dos respectivos três dedos pode ser usado, a mediana pode ser usada, um valor representativo pode ser usado, ou outro valor pode ser usado como a quantidade de movimento dos dedos. Além disso, na presente modalidade, quando a operação de deslizamento com três dedos

Petição 870190093804, de 19/09/2019, pág. 52/73

8/22 é realizada, a posição da câmera virtual é alterada enquanto a atitude da câmera virtual não é alterada. Em outras palavras, quando o número das coordenadas na tela de exibição, que são especificadas simultaneamente com a operação do usuário, é o terceiro número (três), a unidade de controle de ponto de observação 204 altera a posição da câmera virtual de acordo com a variação das coordenadas e não altera a orientação do ponto de observação virtual.

[0028] A Figura 5 ilustra como a posição e a orientação da câmera virtual são variadas em resposta à operação de deslizamento com dois dedos. Em resposta à operação de deslizamento na direção inferior esquerda com dois dedos para uma imagem 501 antes da operação do usuário, a posição e a atitude da câmera virtual são alteradas para exibir uma imagem 502. Aqui, a posição e a atitude da câmera virtual são variadas a partir de um ponto de observação virtual 505 para um ponto de observação virtual 506 em torno de um ponto tridimensional 504 determinado com base nas posições dos dedos do usuário, como ilustrado em uma imagem panorâmica 503. A faixa de movimento da câmera virtual é limitada a uma esfera 507. Como descrito acima, a posição na direção da altura da câmera virtual não é alterada e a posição na direção horizontal da mesma é alterada quando a operação de deslizamento com um dedo é executada enquanto ambas as posições na direção da altura e na direção horizontal da câmera virtual são alteradas quando a operação de deslizamento com dois dedos é executada. Em outras palavras, quando o número de coordenadas na tela de exibição, que são especificadas simultaneamente com a operação do usuário, é um segundo número (dois), a unidade de controle de ponto de observação 204 altera a posição da câmera virtual em uma primeira direção e uma segunda direção de acordo com o movimento da coordenada. Como descrito acima, o aparelho de controle 100 da presente modalidade realiza o processo de controle mais complicado da câmera virtual quando a operação de deslizamento com dois dedos é realizada, em comparação com o caso em que a operação de deslizamento com um dedo é realizada. A operação de deslizamento com dois dedos permite que o vídeo do ponto de observação virtual no qual um objeto arbitrário é visto a partir de uma direção arbitrária seja gerado.

Petição 870190093804, de 19/09/2019, pág. 53/73

9/22 [0029] A Figura 6 ilustra como a posição da câmera virtual é variada em resposta à operação de “pinch-out” com dois dedos. Em resposta à operação de “pinch-out” para uma imagem 601 antes da operação do usuário, a posição da câmera virtual é alterada para exibir uma imagem 602. Aqui, a posição da câmera virtual é movida de um ponto de observação virtual 604 para um ponto de observação virtual 605, como ilustrado em uma imagem panorâmica 603. Quando a operação de “pinch-in” com dois dedos é executada, a posição da câmera virtual é movida do ponto de observação virtual 605 para o ponto de observação virtual 604. Em outras palavras, quando o número de coordenadas na tela de exibição, que são especificadas simultaneamente com a operação do usuário, é o segundo número (dois), a unidade de controle de ponto de observação 204 move a câmera virtual em uma direção correspondente à direção do ponto de observação da câmera virtual de acordo com a variação de a coordenada.

[0030] A posição da câmera virtual é movida na direção de frente para trás, conforme ilustrado por uma linha pontilhada 606, em resposta à operação de “pinchin” e à operação de “pinch-out”. Uma vez que um indivíduo (por exemplo, um objeto tal como um jogador) é exibido de uma maneira maior por uma quantidade correspondente ao aumento do espaçamento entre os dedos e o indivíduo é exibido de uma maneira menor por uma quantidade correspondente à diminuição do espaçamento entre os dedos, uma operação intuitiva é capaz de ser executada. Como descrito acima, permitir o movimento na direção de frente para trás e a rotação da câmera virtual em resposta à operação do usuário com dois dedos realiza o controle da câmera virtual com um alto grau de liberdade. Em vez de alterar a posição da câmera virtual em resposta à operação de “pinch-in” e à operação de “pinch-out”, um parâmetro referente a um valor de zoom da câmera virtual pode ser alterado.

[0031] Embora o exemplo seja principalmente descrito na presente modalidade, em que o primeiro número é “um”, o segundo número é “dois” e o terceiro número é “três”, a presente modalidade não está limitada a este. Por exemplo, o primeiro número pode ser “três”, o segundo número pode ser “dois”, e o terceiro número pode ser “um”. Alternativamente, o primeiro número pode ser “um”, o segundo número pode

Petição 870190093804, de 19/09/2019, pág. 54/73

10/22 ser “dois”, e o terceiro número pode ser “quatro”.

[0032] Um fluxo de processo realizado pelo aparelho de controle 100 da presente modalidade será agora descrito com referência à Figura 2 e à Figura 7. A Figura 2 é um diagrama de blocos que ilustra a configuração funcional do aparelho de controle 100 na presente modalidade. A CPU 101 lê os programas armazenados na ROM 103 e/ou no HDD 105 e executa os programas usando a RAM 102 como uma área de trabalho para servir como respectivos blocos funcionais no aparelho de controle 100 ilustrado na Figura 2. Uma unidade de operação 201 e uma unidade de exibição 206 na Figura 2 correspondem ao dispositivo de entrada 107 e ao dispositivo de saída 109 na Figura 1, respectivamente. A CPU 101 não serve necessariamente como todos os blocos funcionais no aparelho de controle 100 e circuitos de processamento dedicados correspondendo aos respectivos blocos funcionais podem ser fornecidos.

[0033] A Figura 7 é um fluxograma que ilustra o fluxo de processo realizado no aparelho de controle 100 da presente modalidade. As respectivas etapas descritas utilizando a Figura 7 são realizadas pela CPU 101 no aparelho de controle 100, que lê os programas armazenados na ROM 103 e/ou no HDD 105 e executa os programas utilizando a RAM 102 como a área de trabalho.

[0034] Em S701, uma unidade de controle de dados adquiridos 202 espera pela detecção da operação de toque com a unidade de operação 201. A operação de toque é uma operação para tocar a tela de exibição com um dedo durante um curto período de tempo. Um valor arbitrário pode ser definido como um valor limite de um tempo de contato usado na determinação da operação de toque. Se a reprodução atual do vídeo do ponto de observação virtual na unidade de exibição 206 está em um estado de pausa quando a operação de toque for detectada, a unidade de controle de dados adquiridos 202 efetua a alteração para um estado de reprodução. Em contraste, se o aparelho de controle 100 está no estado de reprodução do vídeo do ponto de observação virtual quando a operação de toque é detectada, a unidade de controle de dados adquiridos 202 realiza a alteração para o estado de pausa do vídeo do ponto de observação virtual. Uma vez que a unidade de controle de dados adquiridos 202 altera o estado de reprodução do vídeo do ponto de observação virtual em resposta à

Petição 870190093804, de 19/09/2019, pág. 55/73

11/22 operação de toque na tela de exibição da maneira acima, o usuário é capaz de comutar o estado de reprodução com a operação intuitiva. No entanto, S701 não é uma etapa essencial.

[0035] Em S702, a unidade de controle de ponto de observação 204 fornece parâmetros da câmera relativos à posição e à atitude da câmera virtual para uma unidade de desenho 205 com base no resultado da detecção da operação do usuário com a unidade de operação 201. A etapa S702 será descrita em detalhes abaixo com referência à Figura 8.

[0036] Em S703, uma unidade de aquisição de dados 203 adquire dados (dados poligonais ou dados de textura) necessários para renderizar a partir do HDD 105 ou do servidor externo 111 e fornece os dados para a unidade de desenho 205. A unidade de aquisição de dados 203 adquire os dados necessários para renderizar do próximo quadro de imagem em um estado em que o vídeo do ponto de observação virtual está sendo reproduzido como uma imagem em movimento. Em contraste, a unidade de aquisição de dados 203 adquire os dados necessários para renderização do quadro de imagem que está sendo reproduzido atualmente se a reprodução do vídeo do ponto de observação virtual estiver no estado de pausa. No estado de pausa, os dados podem não ser adquiridos.

[0037] Em S704, a unidade de desenho 205 gera o vídeo do ponto de observação virtual com base nos dados adquiridos a partir da unidade de aquisição de dados 203 e os parâmetros de câmera adquiridos a partir da unidade de controle de ponto de observação 204 e fornece o vídeo do ponto de observação virtual gerado para a unidade de exibição 206. Em S705, a unidade de exibição 206 exibe o vídeo do ponto de observação virtual adquirido a partir da unidade de desenho 205. Uma vez que uma tecnologia existente é capaz de ser usada para a renderização, a renderização não é descrita em detalhes aqui. Os parâmetros da câmera podem ser classificados em um parâmetro externo e um parâmetro interno da câmera virtual. O parâmetro externo da câmera virtual é um parâmetro que representa a posição e a atitude da câmera virtual. O parâmetro interno da câmera virtual é um parâmetro que representa as características ópticas da câmera virtual. O parâmetro externo e o parâmetro

Petição 870190093804, de 19/09/2019, pág. 56/73

12/22 interno serão agora descritos mais especificamente. O parâmetro externo da câmera virtual é capaz de ser representado da seguinte maneira, onde o vetor representando a posição da câmera virtual é denotado por t e a matriz representando a rotação é denotada por R.

[Fórmula 1]

R t' _L Ο Λ [0038] Aqui, o sistema de coordenadas é descrito como um sistema de coordenadas esquerdas. No ponto de observação virtual, a direção direita é uma direção + x, a direção para cima é uma direção + y, e a direção para frente é uma direção + z.

[0039] Um parâmetro interno K da câmera virtual é capaz de ser representado da seguinte maneira, onde a posição de um ponto principal do vídeo do ponto de observação virtual é denotada por (c_x, c_y) e a distância focal da câmera virtual é denotada por f.

[Fórmula 2]

[0040] Os parâmetros da câmera podem ser representados por outro método diferente da matriz. Por exemplo, a posição da câmera virtual pode ser representada em uma coordenada tridimensional e a atitude da câmera virtual pode ser representada por uma lista de valores de guinada, rolamento e arfada. Além disso, o parâmetro externo e o parâmetro interno não estão limitados aos parâmetros acima. Por exemplo, informações representando o valor de zoom da câmera virtual podem ser adquiridas como o parâmetro interno da câmera virtual. Como descrito acima, os

Petição 870190093804, de 19/09/2019, pág. 57/73

13/22 parâmetros da câmera virtual, que são usados para gerar o vídeo do ponto de observação virtual, têm várias variações. O fluxo de processo é realizado no aparelho de controle 100 da presente modalidade da maneira acima.

< Controle da Câmera Virtual de Acordo com a Operação do Usuário >

[0041] A etapa S702 na Figura 7 será agora descrita em detalhes com referência à Figura 8. Em S702, a unidade de controle de ponto de observação 204 adquire o resultado da detecção da operação do usuário com a unidade de operação 201 e fornece o parâmetro de câmera da câmera virtual, que é utilizado para desenhar o vídeo do ponto de observação virtual, para a unidade de desenho 205.

[0042] Em S801, a unidade de controle de ponto de observação 204 adquire o resultado da detecção da operação do usuário com a unidade de operação 201. O resultado da detecção da operação do usuário deve incluir um número n de pontos tocados na tela de exibição, uma coordenada de tela bidimensional xí (i = 1 an) do ponto tocado, e uma coordenada de tela bidimensional x’ de um ponto representativo do ponto tocado. Além disso, o resultado da detecção da operação do usuário deve incluir um vetor bidimensional d = (dx, d_y) representando a quantidade de movimento a partir do ponto representativo no quadro de imagem anterior e um vetor tridimensional T representando a posição de um ponto tridimensional identificado com base no ponto representativo. No entanto, todas as partes de informação descritas acima podem não ser necessariamente adquiridas como o resultado da detecção. Por exemplo, uma vez que a coordenada de tela bidimensional xí é igual à coordenada de tela bidimensional x’ do ponto representativo quando uma operação com um dedo é executada, qualquer uma delas pode ser omitida.

[0043] Assume-se que, no sistema de coordenadas de tela bidimensional, o canto superior esquerdo é definido como a origem, a direção direita é uma direção + x e a direção para baixo é uma direção + y. Assume-se que o ponto representativo é uma coordenada posicionada no centroide das coordenadas da tela bidimensionais xí de múltiplos pontos que são tocados. No entanto, o ponto representativo não está limitado ao centroide e pode ser uma coordenada posicionada na média das coordenadas de tela bidimensionais xi. Alternativamente, uma das múltiplas

Petição 870190093804, de 19/09/2019, pág. 58/73

14/22 coordenadas de tela bidimensionais xí pode ser selecionada aleatoriamente à medida que o ponto representativo ou um ponto tocado por um tempo mais longo pode ser selecionado como o ponto representativo.

[0044] Assume-se que o ponto tridimensional é um ponto no qual um raio de luz colide com o indivíduo. O raio de luz é virtualmente emitido a partir de um ponto inicial, que é a coordenada tridimensional correspondente à posição da câmera virtual, para a direção de captura de imagem da câmera virtual (raycast). O ponto tridimensional é usado como um ponto de base de rotação ou um ponto de referência de movimento na operação da câmera virtual. Além disso, o ponto tridimensional é determinado apenas quando o número de toques é variado daquele do quadro de imagem anterior e o vetor tridimensional T, que foi determinado no processamento do quadro de imagem anterior, é usado como o ponto tridimensional quando o número de toques não é variado daquele do quadro de imagem anterior. Embora o exemplo seja descrito na presente modalidade na qual o ponto tridimensional é representado pelo vetor tridimensional T, o ponto tridimensional pode não estar necessariamente representado no formato de vetor.

[0045] Em S802, a unidade de controle de ponto de observação 204 determina se o ponto de observação deve ser redefinido em resposta à operação do usuário com a unidade de operação 201. Na presente modalidade, é determinado que o ponto de observação seja redefinido se uma determinada área (por exemplo, uma área na qual um botão de redefinição de ponto de observação é exibido) na tela de exibição é tocada.

[0046] Em S803, a unidade de controle de ponto de observação 204 redefine a posição, a atitude e assim por diante da câmera virtual. Especificamente, a unidade de controle de ponto de observação 204 altera a posição e a orientação do ponto de observação virtual para uma posição predeterminada e uma orientação predeterminada em resposta à detecção da operação do usuário em uma determinada posição na tela de exibição. Então, a unidade de controle de ponto de observação 204 fornece o parâmetro de câmera da câmera virtual na redefinição para a unidade de desenho 205. Assume-se na presente modalidade que a posição da câmera virtual na

Petição 870190093804, de 19/09/2019, pág. 59/73

15/22 redefinição é [0 0 0] e a atitude da câmera virtual é uma matriz de unidade. No entanto, a informação do ponto de observação na redefinição não está limitada às informações acima. Por exemplo, um valor definido pelo usuário antecipadamente pode ser usado ou informação do ponto de observação recomendado incorporada nos dados da imagem pode ser lida para uso.

[0047] Em S804, a unidade de controle de ponto de observação 204 determina o método de controle da câmera virtual com base no número n de pontos que são tocados. Diferenciar o método de controle da câmera virtual de acordo com o número de dedos tocados permite que uma maior variedade de controle seja realizada. Se o número de pontos que são tocados for zero, o processo vai para S805 e a unidade de controle de ponto de observação 204 fornece a posição e atitude atuais da câmera virtual para a unidade de desenho 205.

[0048] Se o número de pontos tocados for um (isto é, a operação com um dedo é detectada), o processo vai para S806 e a unidade de controle de ponto de observação 204 rotaciona a câmera virtual em torno do ponto tridimensional acima, que é usado como o centro de rotação. O ponto tridimensional é um ponto no qual um raio de luz colide com o indivíduo. O raio de luz é virtualmente emitido a partir do ponto inicial, que é a coordenada tridimensional (por exemplo, a coordenada do centro da câmera virtual) correspondente à posição da câmera virtual, para a direção de captura de imagem da câmera virtual (raycast). Em outras palavras, o ponto tridimensional é a coordenada no espaço tridimensional, que corresponde à posição central do vídeo do ponto de observação virtual que é exibido em resposta ao toque. No entanto, o ponto tridimensional não está limitado a este exemplo. As etapas S806 a S808 serão descritas em detalhes abaixo.

[0049] Se o número de pontos que são tocados for dois (isto é, a operação com dois dedos é detectada), o processo vai para S809 e a unidade de controle de ponto de observação 204 executa o controle para alterar ambas as posições na direção da altura e na direção horizontal da câmera virtual em resposta à operação de deslizamento pelo usuário. Em S811, a unidade de controle de ponto de observação 204 executa o controle para mover a posição da câmera virtual na direção de frente

Petição 870190093804, de 19/09/2019, pág. 60/73

16/22 para trás em resposta à operação de “pinch-in” e/ou à operação de “pinch-out”. As etapas S809 a S812 serão descritas em detalhes abaixo.

[0050] Se o número de pontos tocados for três (isto é, a operação com três dedos é detectada), o processo vai para S813 e a unidade de controle de ponto de observação 204 executa o controle para transladar a câmera virtual em resposta à operação de deslizamento. As etapas S813 e S814 serão descritas em detalhes abaixo.

[0051] Em S806, a unidade de controle do ponto de observação 204 determina a coordenada do ponto tridimensional utilizado como o centro de rotação quando a câmera virtual é rotacionada. A unidade de controle de ponto de observação 204 emite virtualmente o raio de luz no espaço tridimensional, por exemplo, utilizando o centro da câmera virtual como o ponto de observação em resposta à detecção do toque de um dedo e utiliza o ponto no qual o raio de luz colide com o indivíduo como o ponto tridimensional. O ponto tridimensional é representado como vetor tridimensional A e é usado como centro de rotação. Depois que o ponto tridimensional é determinado, não é necessário determinar o ponto tridimensional novamente enquanto o estado de toque é continuado.

[0052] Em S807, a unidade de controle de ponto de observação 204 adquire uma quantidade de movimento d do ponto representativo para determinar a quantidade de movimento da câmera virtual. No caso da operação do usuário com um dedo, a direção do movimento da câmera virtual é apenas a direção de rotação em torno do ponto tridimensional. Além disso, no caso da operação do usuário com um dedo, a câmera virtual não se move na direção vertical e se move apenas na direção horizontal. Isso permite que a câmera virtual seja menos propensa a ser afetada pela agitação da mão na operação de deslizamento para tornar suave o movimento da câmera virtual. A unidade de controle de ponto de observação 204 da presente modalidade multiplica uma quantidade de movimento dx do ponto representativo por um coeficiente de escala s para determinar a quantidade de movimento (uma quantidade de rotação Θ na direção horizontal) da câmera virtual. O coeficiente de escala s para determinar a quantidade de rotação Θ [grau] da quantidade de

Petição 870190093804, de 19/09/2019, pág. 61/73

17/22 movimento dx é representada pela seguinte equação onde a resolução da tela é de w pixels de largura e a quantidade de rotação quando a operação de deslizamento de uma extremidade da tela de exibição para outra extremidade da mesma é realizada é de 360 graus.

[Fórmula 3]

W =---i. 3 6 0 [0053] A quantidade de rotação da câmera virtual é representada pela seguinte equação usando o coeficiente de escala:

[Fórmula 4]

Θ = sxdx [0054] Embora o exemplo seja principalmente descrito na presente modalidade, em que a direção do movimento da câmera virtual baseada na operação do usuário com um dedo é somente a direção horizontal, a direção de movimento da câmera virtual pode ser apenas a direção vertical. Se a direção de movimento da câmera virtual é apenas a direção horizontal ou apenas a direção vertical pode ser determinada de acordo com o conteúdo da operação do usuário. Especificamente, a direção de movimento pode ser determinada de acordo com a direção da operação de deslizamento de um determinado n-ésimo quadro de imagem após o toque ser detectado. Por exemplo, a quantidade de movimento na direção x da operação de deslizamento no n-ésimo quadro de imagem pode ser comparada com a quantidade de movimento na direção y do mesmo, e a câmera virtual pode ser movida somente na direção horizontal se a quantidade de movimento na direção x é maior do que a quantidade de movimento na direção y e a câmera virtual pode ser movida apenas na direção vertical se a quantidade de movimento na direção y for maior do que a quantidade de movimento na direção x. Além disso, o método de determinação do coeficiente de escala não está limitado ao acima. Por exemplo, o usuário pode especificar um valor arbitrário ou o usuário pode ser solicitado a selecionar um

Petição 870190093804, de 19/09/2019, pág. 62/73

18/22 arbitrário a partir de múltiplas opções.

[0055] Em S808, a unidade de controle de ponto de observação 204 determina a posição e a atitude da câmera virtual de acordo com a operação de deslizamento pelo usuário e fornece o resultado da determinação à unidade de desenho 205. Uma posição R_n e uma atitude tn da câmera virtual quando uma posição Rn-i e uma atitude tn-ι da câmera virtual é rotacionada em torno de uma coordenada A na direção horizontal por Θ são representadas pelas seguintes equações:

[Fórmula 5] í. Rn = R(0, 0)Rn-1 Ü. tn = R(0, 0)(tn-1A) + A [0056] No entanto, R (θ, φ) é uma matriz de rotação na qual a câmera virtual é rotacionada na direção horizontal por θ e é rotacionada na direção vertical por φ. As equações para calcular a posição atual e a atitude da câmera virtual rotacionada não estão limitadas às anteriores.

[0057] Em S809, a unidade de controle de ponto de observação 204 adquire a quantidade de movimento d do ponto representativo para determinar a quantidade de movimento da câmera virtual. No caso da operação do usuário com dois dedos, a câmera virtual é capaz de ser rotacionada tanto na direção horizontal quanto na direção vertical em torno do ponto tridimensional, ao contrário de S807, para realizar o controle com um alto grau de liberdade. A quantidade de rotação θ na direção horizontal e o coeficiente de escala s são calculadas da mesma maneira que em S807. A quantidade de rotação θ na direção vertical é representada pela seguinte equação: φ = S X dy [0058] Em S810, a unidade de controle de ponto de observação 204 determina a posição e a atitude da câmera virtual de acordo com a operação de deslizamento pelo usuário e fornece o resultado da determinação à unidade de desenho 205. A posição Rn e uma atitude t’_n da câmera virtual quando a posição Rn-i e a atitude tn-i da câmera virtual é rotacionada em torno de um ponto tridimensional T na direção horizontal por

Petição 870190093804, de 19/09/2019, pág. 63/73

19/22

Θ e na direção vertical por φ são representadas pelas seguintes equações: [Fórmula 6]

Rn = R(0, (p)Rn-1 t'n = R(0, φ)(ίη-1-Τ) + T [0059] No entanto, as equações para calcular a posição e a atitude da câmera virtual quando a câmera virtual é rotacionada em torno do ponto tridimensional T não estão limitadas às anteriores. Por exemplo, a utilização de um certo coeficiente ou similar permite que a quantidade de movimento da câmera virtual seja aumentada em relação à quantidade de movimento dos dedos ou seja diminuída em relação à quantidade de movimento dos dedos.

[0060] Em S811, a unidade de controle de ponto de observação 204 determina a quantidade de movimento na direção da frente para trás da câmera virtual de acordo com a operação de “pinch-in” e a operação de “pinch-out” pelo usuário. Uma quantidade de variação Ad é Ad = d_n - dn-i onde a distância entre os dois dedos quando o quadro de imagem atual é exibido é denotada por dn e a distância entre os dois dedos quando o último quadro de imagem é exibido é denotada por dn-i. A câmera virtual é movida na direção da frente para trás em proporção à quantidade de variação. Uma quantidade de movimento Az da câmera virtual é capaz de ser representada por Az = m x Ad, onde o grau de sensibilidade do movimento é denotado por m. Em outras palavras, a quantidade de movimento da câmera virtual é determinada de acordo com a quantidade de movimento dos dedos por unidade de tempo em resposta à operação de “pinch-in” e à operação de “pinch-out”. O método de determinar a quantidade de movimento não está limitado ao acima. Por exemplo, a quantidade de movimento no espaço tridimensional pode ser determinada de modo a corresponder à quantidade de movimento dos dedos na tela de exibição, com base na distância da câmera virtual ao ponto tridimensional T.

[0061] Em S812, a unidade de controle de ponto de observação 204 determina a posição da câmera virtual de acordo com a operação de “pinch-in” e a operação de “pinh-out” pelo usuário e fornece o resultado da determinação à unidade de desenho 205. A posição da câmera virtual que é movida na direção da frente para trás por Az

Petição 870190093804, de 19/09/2019, pág. 64/73

20/22 é representada pela seguinte equação:

[Fórmula 7] ’ 0' ^71 f) ^L j Ι-Δζ[0062] Em S813, a unidade de controle de ponto de observação 204 determina as quantidades de movimento na direção de cima para baixo e na direção da esquerda para a direita da câmera virtual de acordo com a operação de deslizamento pelo usuário. Na presente modalidade, a quantidade de movimento é determinada de modo que o ponto tridimensional se mova na tela de exibição por uma distância igual à quantidade de movimento dos dedos na tela de exibição. Especificamente, quando a posição de exibição de um determinado objeto (por exemplo, um jogador de futebol) é tocada com três dedos e os três dedos são deslizados na tela de exibição, a posição da câmera virtual é variada de modo a não variar a relação posicionai entre a posição de exibição do objeto e os três dedos. As quantidades de movimento Δχ, Ay são representadas pelas seguintes equações, onde a distância da câmera virtual ao ponto tridimensional que é tocado é denotada por r.

[Fórmula 8] r

Δχ =u x d_x

Ay x d_y

i.

[0063] Em S814, a unidade de controle do ponto de observação 204 determina a posição e a atitude da câmera virtual de acordo com a operação de deslizamento pelo usuário e fornece o resultado da determinação à unidade de desenho 205. A posição

Petição 870190093804, de 19/09/2019, pág. 65/73

21/22 e a atitude da câmera virtual quando a câmera virtual se move na direção da esquerda para a direita por Δχ e na direção de cima para baixo por Ay são representadas pelas seguintes equações:

[Formula 9]

Rn Rn—1 ~Δχ~

O [0064] A relação de correspondência entre o número de dedos e o conteúdo do processamento não está limitada aos exemplos descritos acima. Por exemplo, o método de controlar a posição e a atitude da câmera virtual em resposta à operação de deslizamento com um dedo pode ser substituído pelo método em resposta à operação de deslizamento com três dedos. Especificamente, a translação da câmera virtual na direção de cima para baixo e na direção da esquerda para a direita pode ser executada com base na operação de deslizamento com um dedo e a rotação e o movimento da câmera virtual em torno do ponto tridimensional podem ser executados com base na operação de deslizamento com três dedos. Além disso, a relação entre o número de dedos e o método de controle pode ser arbitrariamente definida pelo usuário. Isso permite que as funções operacionais sejam mais adequadas à habilidade do usuário, ao ambiente de exibição do vídeo do ponto de observação virtual, e assim por diante. Embora o exemplo seja principalmente descrito na presente modalidade na qual toda a etapa (S805) quando o número de pontos tocados é zero, as etapas (S806 a S808) quando o número de pontos tocados é um, as etapas (S809 a S812) quando o número de pontos tocados é dois, e as etapas (S813 e S814) quando o número de pontos tocados é três, a presente modalidade não está limitada a este exemplo. Por exemplo, apenas as etapas (S809 a S812) quando o número de pontos tocados é dois e as etapas (S813 e S814) quando o número de pontos tocados é três podem ser realizadas ou apenas as etapas (S806 a S808) quando o número de pontos

Petição 870190093804, de 19/09/2019, pág. 66/73

22/22 tocados é um podem ser executadas. As etapas permitidas podem ser alternadas de acordo com as configurações feitas antecipadamente pelo usuário.

[0065] Como descrito acima, o aparelho de controle 100 da presente modalidade controla ao menos uma da posição e da orientação do ponto de observação virtual de acordo com a operação do usuário na superfície de exibição (a tela de exibição) para exibir o vídeo do ponto de observação virtual. Com essa configuração, o usuário é capaz de executar o controle sobre o ponto de observação virtual com mais facilidade do que antes. Além disso, o aparelho de controle 100 da presente modalidade comuta o método de controle do ponto de observação virtual de acordo com a operação do usuário, dependendo do número de dedos detectados na superfície de exibição (o número das coordenadas especificadas simultaneamente pelo usuário). A adoção de tal configuração permite ao usuário realizar o controle do ponto de observação virtual de acordo com a intenção do usuário, com operações mais intuitivas. Em outras palavras, o aparelho de controle 100 da presente modalidade tem a vantagem de gerar o vídeo do ponto de observação virtual mais de acordo com a intenção do usuário.

< Outras Modalidades >

[0066] A presente invenção é capaz de ser realizada por processamento no qual os programas que realizam uma ou mais funções das modalidades acima são fornecidos a um sistema ou aparelho através de uma rede ou meio de armazenamento e um ou mais processadores no computador no sistema ou o aparelho lê os programas e os executa. A presente invenção é capaz de ser realizada por um circuito (por exemplo, um circuito integrado de aplicação específica (ASIC)) realizando uma ou mais funções.

[0067] A presente invenção não está limitada às modalidades acima e várias alterações e modificações estão disponíveis sem abandonar o espírito e o escopo da presente invenção. Por conseguinte, as seguintes reivindicações são anexadas para anunciar o alcance da presente invenção.

[0068] Este pedido reivindica o benefício do Pedido de Patente Japonesa No. 2017-179581 depositado em 19 de setembro de 2017, o qual é aqui incorporado por referência em sua totalidade.

Claims

REIVINDICAÇÕES

1. Aparelho de controle que controla uma posição e uma orientação de um ponto de observação virtual em relação a um vídeo do ponto de observação virtual gerado usando partes de dados de imagem capturadas por uma pluralidade de câmeras que capturam imagens de uma certa área alvo de captura de imagem a partir de diferentes direções, caracterizado pelo fato de que compreende:

meio de detecção para detectar uma operação de toque em uma superfície de exibição para exibir o vídeo do ponto de observação virtual;

meio de determinação para determinar uma quantidade de alteração de pelo menos uma da posição e da orientação do ponto de observação virtual com base em um número de coordenadas que são especificadas simultaneamente com a operação de toque detectada pelo meio de deteção e uma quantidade de variação das coordenadas; e meio de controle para controlar pelo menos uma da posição e da orientação do ponto de observação virtual de acordo com a quantidade de alteração determinada pelo meio de determinação.
2. Aparelho de controle, de acordo com a reivindicação 1, caracterizado pelo fato de que, se o número de coordenadas na superfície de exibição, que são especificadas simultaneamente com a operação de toque, for um primeiro número, o meio de controle controla a posição e a orientação do ponto de observação virtual de modo que o ponto de observação virtual rotaciona em torno de uma determinada coordenada alvo de acordo com o movimento das coordenadas do primeiro número.
3. Aparelho de controle, de acordo com a reivindicação 2, caracterizado pelo fato de que a determinada coordenada alvo é uma coordenada que é determinada com base em uma posição central do vídeo do ponto de observação virtual, que é exibido na superfície de exibição quando uma coordenada na superfície de exibição é especificada com a operação de toque.
4. Aparelho de controle, de acordo com a reivindicação 1, caracterizado pelo fato de que, se o número de coordenadas na superfície de exibição, que são especificadas simultaneamente com a operação de toque, for um primeiro número, o

Petição 870190093804, de 19/09/2019, pág. 68/73

2/5 meio de controle controla a posição e a orientação do ponto de observação virtual de modo que a posição e a orientação do ponto de observação virtual são variadas, enquanto o ponto de observação virtual foca em uma determinada coordenada alvo de acordo com o movimento das coordenadas do primeiro número.
5. Aparelho de controle, de acordo com qualquer uma das reivindicações 1 a 4, caracterizado pelo fato de que se o número de coordenadas na superfície de exibição, que são especificadas simultaneamente com a operação de toque, for um primeiro número, o meio de controle altera a posição do ponto de observação virtual em uma primeira direção e não altera a posição do ponto de observação virtual em uma segunda direção de acordo com o movimento das coordenadas do primeiro número, e se o número de coordenadas na superfície de exibição, que são especificadas simultaneamente com a operação de toque, for um segundo número, o meio de controle altera a posição do ponto de observação virtual na primeira direção e na segunda direção de acordo com o movimento das coordenadas do segundo número.
6. Aparelho de controle, de acordo com a reivindicação 5, caracterizado pelo fato de que a determinada coordenada alvo é determinada com base em pelo menos uma das coordenadas do segundo número, que são especificadas com a operação de toque.
7. Aparelho de controle, de acordo com uma das reivindicações 1 a 6, caracterizado pelo fato de que, se o número de coordenadas na superfície de exibição, que são especificadas simultaneamente com a operação de toque, for um terceiro número, o meio de controle controla a posição do ponto de observação virtual de modo que o ponto de observação virtual se move linearmente em um espaço tridimensional de acordo com a variação das coordenadas do terceiro número.
8. Aparelho de controle, de acordo com uma das reivindicações 1 a 6, caracterizado pelo fato de que, se o número de coordenadas na superfície de exibição, que são especificadas simultaneamente com a operação de toque, for um terceiro número, o meio de controle altera a posição do ponto de observação virtual e não

Petição 870190093804, de 19/09/2019, pág. 69/73

3/5 altera a orientação do ponto de observação virtual de acordo com a variação das coordenadas do terceiro número.
9. Aparelho de controle, de acordo com uma das reivindicações 1 a 8, caracterizado pelo fato de que, se o número de coordenadas na superfície de exibição, que são especificadas simultaneamente com a operação de toque, for um segundo número, o meio de controle move o ponto de observação virtual em uma direção correspondente à orientação do ponto de observação virtual antes das coordenadas do segundo número serem especificadas de acordo com a variação das coordenadas do segundo número.
10. Aparelho de controle, de acordo com qualquer uma das reivindicações 1 a 9, caracterizado pelo fato de que, quando uma determinada operação de toque na superfície de exibição é detectada pelo meio de detecção enquanto a reprodução do vídeo do ponto de observação virtual na superfície de exibição está em um estado de pausa, o aparelho de controle altera o estado de pausa para um estado de reprodução.
11. Aparelho de controle, de acordo com qualquer uma das reivindicações 1 a 10, caracterizado pelo fato de que o meio de controle altera a posição e a orientação do ponto de observação virtual para uma posição predeterminada e uma orientação predeterminada em resposta à detecção da operação de toque em uma determinada posição na superfície de exibição.
12. Aparelho de controle, de acordo com uma das reivindicações 1 a 11, caracterizado pelo fato de que um ou mais objetos existem na determinada área alvo de captura de imagem.
13. Aparelho de controle, de acordo com a reivindicação 12, caracterizado pelo fato de que pelo menos um dos objetos é um atleta.
14. Método de controle para controlar uma posição e uma orientação de um ponto de observação virtual em relação a um vídeo do ponto de observação virtual gerado usando partes de dados de imagem capturados por uma pluralidade de aparelhos de captura de imagem que captura imagens de uma determinada área alvo de captura de imagem a partir de diferentes direções, caracterizado pelo fato de que compreende:

Petição 870190093804, de 19/09/2019, pág. 70/73

4/5 detectar uma operação de toque em uma superfície de exibição para exibir o vídeo do ponto de observação virtual;

determinar uma quantidade de alteração de pelo menos uma da posição e da orientação do ponto de observação virtual com base em um número de coordenadas que são especificadas simultaneamente com a operação de toque detectada e uma quantidade de variação das coordenadas; e controlar pelo menos uma da posição e da orientação do ponto de observação virtual de acordo com a quantidade de alteração determinada.
15. Método de controle, de acordo com a reivindicação 14, caracterizado pelo fato de que, se o número de coordenadas na superfície de exibição, que são especificadas simultaneamente com a operação de toque, for um primeiro número, o controle é executado de modo que o ponto de observação virtual rotaciona em torno de uma determinada coordenada alvo de acordo com o movimento das coordenadas do primeiro número.
16. Método de controle, de acordo com a reivindicação 14 ou 15, caracterizado pelo fato de que se o número de coordenadas na superfície de exibição, que são especificadas simultaneamente com a operação de toque, for um primeiro número, a posição do ponto de observação virtual é alterada em uma primeira direção e não é alterada em uma segunda direção de acordo com o movimento das coordenadas do primeiro número, e se o número de coordenadas na superfície de exibição, que são especificadas simultaneamente com a operação de toque, for um segundo número, a posição do ponto de observação virtual é alterada na primeira direção e na segunda direção de acordo com o movimento da coordenadas do segundo número.
17. Meio de armazenamento legível por computador, caracterizado pelo fato de que armazena programa que faz com que um computador execute um método de controle para controlar uma posição e uma orientação de um ponto de observação virtual com relação a um vídeo de ponto de observação virtual gerado usando partes de dados de imagem capturados por uma pluralidade de aparelhos de captura de

Petição 870190093804, de 19/09/2019, pág. 71/73

5/5 imagem que captura imagens de uma certa área alvo de captura de imagem a partir de diferentes direções, o método de controle compreendendo:

detectar uma operação de toque em uma superfície de exibição para exibir o vídeo do ponto de observação virtual;

determinar uma quantidade de alteração de pelo menos uma da posição e da orientação do ponto de observação virtual com base em um número de coordenadas que são especificadas simultaneamente com a operação de toque detectada e uma quantidade de variação das coordenadas; e controlar pelo menos uma da posição e da orientação do ponto de observação virtual de acordo com a quantidade de alteração determinada.