BR112015010280B1

BR112015010280B1 - Sistema e método de exibição de imagem

Info

Publication number: BR112015010280B1
Application number: BR112015010280-8A
Authority: BR
Inventors: Naomasa Takahashi; Tatsuya Narahara; Yoichiro Sako; Motoyuki Takai
Original assignee: Sony Corporation
Priority date: 2012-11-13
Filing date: 2013-10-02
Publication date: 2022-06-21
Also published as: RU2646360C2; RU2015116420A; CN104781873A; EP2922049A4; JPWO2014077046A1; BR112015010280A8; WO2014077046A1; US20150293362A1; EP2922049A1; BR112015010280A2; US10108018B2; CN104781873B

Abstract

APARELHO, MÉTODO E SISTEMA DE EXIBIÇÃO DE IMAGEM, APARELHO MÓVEL, E, MÍDIA DE ARMAZENAMENTO LEGÍVEL POR COMPUTADOR Um objetivo da presente invenção é permitir a exibição e apreciação, em um capacete de realidade virtual, de uma imagem do ponto de vista de primeira pessoa que é fotografada com uma câmera que é montada em um veículo controlado por rádio. Durante a exibição, com um capacete de realidade virtual (110), de uma imagem tipo domo completo, que é fotografada por uma unidade de câmera (605) que é montada em um dispositivo modelo (120), uma CPU (601) apresenta uma imagem que rastreia o movimento de parte da cabeça de um usuário, pelo movimento de um campo de exibição de visualização, de maneira tal que um movimento de parte da cabeça do usuário que uma unidade de detecção de atitude / local (604) detectou seja eliminado. No lado do capacete de realidade virtual (110), é realizada uma exibição de uma imagem composta em que uma imagem AR, que é informação da imagem virtual, é sobreposta em uma imagem real em um campo de exibição de visualização.

Description

CAMPO DA INVENÇÃO

[001] A tecnologia descrita nesta especificação refere-se a um aparelho de exibição de imagem que é montado na cabeça ou no rosto de um usuário e é usado para visualização de uma imagem, a um método de exibição de imagem, a um aparelho móvel que captura imagens a serem visualizadas durante o movimento, a um sistema de exibição de imagem e a um programa de computador. Mais particularmente, a tecnologia refere-se a um aparelho de exibição de imagem, a um método de exibição de imagem, a um aparelho móvel, a um sistema de exibição de imagem e a um programa de computador que são usados para visualização de uma imagem capturada por uma câmera externa, tais como uma imagem de todo o céu, uma imagem tipo olho de peixe e uma imagem panorâmica.

FUNDAMENTOS DA INVENÇÃO

[002] Um aparelho de exibição de imagem ou um capacete de realidade virtual que são montados na cabeça ou no rosto e são usados para visualização de uma imagem são bem conhecidos. Em um capacete de realidade virtual, uma unidade de exibição é provida para cada um dos olhos direito e esquerdo, e uma imagem virtual ampliada de uma imagem de exibição é formada por um sistema óptico da imagem virtual, de forma que um usuário possa visualizar uma imagem com sensação realística. Se um capacete de realidade virtual for projetado para bloquear completamente o mundo exterior quando montado na cabeça de um usuário, o senso de imersão durante a visualização é aumentado. Um capacete de realidade virtual também pode exibir diferentes imagens para os olhos direito e esquerdo, e pode apresentar uma imagem 3D pela exibição de imagens com paralaxes para os olhos direito e esquerdo.

[003] Com um capacete de realidade virtual, uma imagem grande angular pode ser visualizada. Por exemplo, há uma descrição de um capacete de realidade virtual com a qual uma imagem de 360 graus de todo o espaço que segue o movimento da cabeça de um usuário com um sensor de giro anexado em sua cabeça pode ser apreciada (veja Documento de Patente 1 e Documento de Patente 2, por exemplo). A região de exibição é movida para deslocar o movimento da cabeça detectado pelo sensor de giro. Desta maneira, uma imagem que segue o movimento da cabeça do usuário pode ser apresentada.

[004] Também, há um aplicativo desenvolvido para habilitar um usuário a visualizar uma imagem ao vivo capturada por uma câmera externa com um capacete de realidade virtual. Por exemplo, há uma descrição de um sistema de exibição de imagem no qual uma imagem realmente capturada por um dispositivo de tratamento de imagem montado em um objeto em movimento diferente de um ser humano, tal como um modelo controlado por rádio, é exibida em um dispositivo de exibição que um usuário está usando (veja Documento de Patente 3, por exemplo).

[005] Também há a técnica FPV (Visualização em Primeira Pessoa) conhecida para habilitar um usuário a controlar um modelo controlado por rádio de um helicóptero ou congêneres ao mesmo tempo em que observa em uma imagem no ponto de vista de primeira pessoa (ponto de vista do piloto) capturada por uma câmera sem fio montada no modelo controlado por rádio.

[006] Por exemplo, há uma descrição de um sistema de tratamento de imagem aéreo no qual uma câmera em todas as direções que captura imagens das cercanias e um medidor de distância a laser que mede a altitude da câmera em todas as direções a partir do solo são montados em um pequeno helicóptero que tem sua altitude de voo e velocidade de voo controladas por um dispositivo de controle de voo, e tratamento de imagem aérea é realizado com a câmera em todas as direções em uma altitude predeterminada com base na altitude medida pelo medidor de distância a laser (veja Documento de Patente 4, por exemplo). Imagens capturadas em todas as direções podem ser transmitidas para um computador externo por meio de uma rede de comunicação.

[007] Adicionalmente, há uma descrição de um sistema em rede no qual um modelo de carro controlado por rádio equipado com uma câmera estéreo tridimensional de médio e longo alcance e uma câmera estéreo tridimensional de curto alcance transmite uma imagem combinada tridimensional, e a imagem combinada tridimensional é exibida no lado do controlador (veja Documento de Patente 5, por exemplo).

[008] Também, há uma descrição de um sistema em rede que recebe, no lado do controlador, uma imagem gerada por um aparelho modelo que captura uma imagem do cenário em frente e informação sobre o local e a orientação do aparelho modelo, e gera e exibe uma imagem virtual de acordo com o local e a orientação (veja Documento de Patente 6, por exemplo).

LISTA DE CITAÇÃO DOCUMENTOS DE PATENTE

[009] Documento de Patente 1: JP 9-106322 A

[0010] Documento de Patente 2: JP 2010-256534 A

[0011] Documento de Patente 3: JP 2008-147865 A, parágrafos [0024] até [0026]

[0012] Documento de Patente 4: JP 2011-183824 A

[0013] Documento de Patente 5: JP 2012-151800 A

[0014] Documento de Patente 6: JP 2012-143447 A

SUMÁRIO DA INVENÇÃO PROBLEMAS A SEREM RESOLVIDOS PELA INVENÇÃO

[0015] A tecnologia descrita nesta especificação objetiva prover um aparelho de exibição de imagem, um método de exibição de imagem, um aparelho móvel, um sistema de exibição de imagem e um programa de computador que são excelentes e podem ser usados na visualização de uma imagem capturada por uma câmera externa, tais como uma imagem de todo o céu, uma imagem tipo olho de peixe ou uma imagem panorâmica.

[0016] A tecnologia descrita nesta especificação objetiva adicionalmente prover um excelente aparelho de exibição de imagem capaz de exibir apropriadamente uma imagem do ponto de vista de primeira pessoa capturada por uma câmera montada em um aparelho móvel, tal como um modelo controlado por rádio, e também prover um método de exibição de imagem, um aparelho móvel, um sistema de exibição de imagem e um programa de computador.

SOLUÇÕES PARA OS PROBLEMAS

[0017] Este pedido é feito em vista dos problemas expostos, e a tecnologia descrita 1 é um aparelho de exibição de imagem que inclui: uma unidade de exibição montada na cabeça de um usuário; uma unidade de detecção de postura que detecta a postura da cabeça; e uma unidade de controle de exibição que controla a exibição de uma imagem na unidade de exibição com base na postura da cabeça, a imagem sendo capturada por um aparelho móvel.

[0018] De acordo com a tecnologia descrita deste pedido, a unidade de controle de exibição do aparelho de exibição de imagem recorta uma região correspondente à postura da cabeça a partir de uma imagem grande angular capturada pelo aparelho móvel, e exibe a região recortada na unidade de exibição.

[0019] De acordo com a tecnologia descrita deste pedido, quando uma pluralidade de imagens de ponto de vista capturadas em uma pluralidade de pontos de vista por um método paralelo de foco profundo for exibida, a unidade de controle de exibição do aparelho de exibição de imagem ajusta o ponto de convergência entre as imagens de ponto de vista com base na velocidade do movimento do objeto em movimento.

[0020] De acordo com a tecnologia descrita deste pedido, a unidade de controle de exibição do aparelho de exibição de imagem exibe uma imagem com uma distância interpontos de vista correspondente a uma operação de aproximação na unidade de exibição.

[0021] De acordo com a tecnologia descrita deste pedido, o aparelho de exibição de imagem desloca a direção da linha de visão de uma unidade de câmera do aparelho móvel em pelo menos uma das direções de giro panorâmico, de inclinação e de rolagem em relação à postura da cabeça.

[0022] De acordo com a tecnologia descrita deste pedido, o aparelho de exibição de imagem inclui adicionalmente: uma unidade de realimentação de sensação operacional que realimenta uma sensação operacional para o usuário através de sensação tátil ou vibração, em que a realimentação para o usuário é com base na aceleração à qual o aparelho móvel é sujeito durante o movimento.

[0023] De acordo com a tecnologia descrita deste pedido, a unidade de controle de exibição do aparelho de exibição de imagem sobrepõe uma imagem AR em uma imagem do mundo real capturada pelo aparelho móvel antes da exibição da imagem.

[0024] De acordo com a tecnologia descrita deste pedido, a unidade de controle de exibição do aparelho de exibição de imagem exibe a imagem AR correspondente a pelo menos um do local atual do aparelho móvel, de um objeto incluído na imagem capturada e do estado do aparelho móvel.

[0025] De acordo com a tecnologia descrita deste pedido, a unidade de controle de exibição do aparelho de exibição de imagem exibe informação de local sobre o aparelho móvel e o usuário.

[0026] De acordo com a tecnologia descrita deste pedido, a unidade de controle de exibição do aparelho de exibição de imagem exibe adicionalmente uma imagem capturada por um rastreador automático que captura a imagem durante o rastreamento do aparelho móvel.

[0027] De acordo com a tecnologia descrita deste pedido, o aparelho de exibição de imagem inclui adicionalmente uma unidade de aquisição de imagem da linha de autovisão que adquire uma imagem da linha de autovisão a ser vista na linha de visão do usuário. A unidade de controle de exibição comuta a imagem que é exibida entre uma imagem da linha de visão do objeto em movimento capturada pelo aparelho móvel e a imagem da linha de autovisão.

[0028] De acordo com a tecnologia descrita deste pedido, a unidade de controle de exibição do aparelho de exibição de imagem comuta a imagem que é exibida entre imagens capturadas a partir de uma pluralidade de posições de ponto de vista do aparelho móvel de acordo com a postura da cabeça.

[0029] De acordo com a presente invenção como descrita neste pedido, a unidade de controle de exibição do aparelho de exibição de imagem corrige o tremor em uma imagem em movimento capturada pelo aparelho móvel antes da exibição da imagem em movimento.

[0030] A tecnologia deste pedido também se refere a um método de exibição de imagem que inclui: uma etapa de detecção de postura para detectar a postura da cabeça de um usuário; e uma etapa de controle de exibição para controlar a exibição de uma imagem com base na postura da cabeça, a imagem sendo capturada por um aparelho móvel.

[0031] A tecnologia deste pedido também se refere a um sistema de exibição de imagem que inclui: um aparelho móvel que captura uma imagem durante o movimento; e um aparelho de exibição de imagem que exibe a imagem capturada pelo aparelho móvel de acordo com a postura da cabeça de um usuário.

[0032] Deve-se notar que o termo "sistema" significa um conjunto lógico de dispositivos (ou módulos funcionais que realizam funções específicas), e os respectivos dispositivos ou módulos funcionais não ficam necessariamente em um único alojamento.

[0033] A tecnologia deste pedido também se refere a um aparelho móvel que inclui: uma unidade de câmera; uma plataforma de câmera que controla a direção da linha de visão da unidade de câmera; uma unidade de movimento que move o aparelho; e uma unidade de comunicação que comunica dados que incluem uma imagem capturada pela unidade de câmera, em que a unidade de câmera inclui uma pluralidade de câmeras que realizam tratamento de imagem por um método paralelo de foco profundo, as câmeras tendo diferentes pontos de vista.

[0034] De acordo com a tecnologia descrita deste pedido, o aparelho móvel captura uma imagem de todo o céu durante a mudança da distância interpontos de vista entre as câmeras com diferentes pontos de vista.

[0035] De acordo com a tecnologia descrita deste pedido, o aparelho móvel extrapola imagens fora dos pontos de vista das câmeras a partir das imagens capturadas pelas câmeras com diferentes pontos de vista em uma distância interpontos de vista fixa um em relação ao outro.

[0036] A tecnologia descrita deste pedido é um programa de computador gravado em um formato legível por computador, o programa de computador fazendo com que um computador funcione como: uma unidade de detecção de postura que detecta a postura da cabeça de um usuário; e uma unidade de controle de exibição que controla a exibição de uma imagem com base na postura da cabeça, a imagem sendo capturada por um aparelho móvel.

[0037] O programa de computador deste pedido define um programa de computador gravado em um formato legível por computador para realizar processamento predeterminado em um computador. Em outras palavras, à medida que o programa de computador deste pedido é instalado em um computador, ações cooperativas são realizadas no computador, e os mesmos efeitos do aparelho de exibição de imagem deste pedido podem ser alcançados.

EFEITOS DA INVENÇÃO

[0038] A tecnologia descrita nesta especificação provê um excelente aparelho de exibição de imagem que pode apresentar uma imagem com sensação realística pela exibição de uma imagem do ponto de vista de primeira pessoa capturada por uma câmera montada em um aparelho móvel, tal como um modelo controlado por rádio, em uma tela colocada na frente dos olhos de um usuário, e também provê um método de exibição de imagem, um sistema de exibição de imagem, um aparelho móvel e um programa de computador.

[0039] Outros objetos, recursos e vantagens da tecnologia descrita nesta especificação ficarão aparentes pelas modalidades descritas a seguir e pelas descrições detalhadas em relação aos desenhos anexos.

BREVE DESCRIÇÃO DOS DESENHOS

[0040] A figura 1 é um diagrama que mostra esquematicamente a configuração de um sistema de exibição de imagem 100 de acordo com uma modalidade da tecnologia descrita nesta especificação.

[0041] A figura 2 é uma vista frontal de um usuário usando um capacete de realidade virtual 110.

[0042] A figura 3 é uma vista de topo do usuário usando o capacete de realidade virtual 110 mostrada na figura 2.

[0043] A figura 4 é um diagrama que mostra um exemplo da estrutura interna do capacete de realidade virtual 110.

[0044] A figura 5 é um diagrama que mostra o sistema de coordenadas na postura a ser detectada pela unidade de detecção de postura/local 404.

[0045] A figura 6 é um diagrama que mostra um exemplo da estrutura interna de um aparelho móvel 120.

[0046] A figura 7 é um diagrama que mostra esquematicamente a estrutura funcional de uma unidade de controle 401 para exibir uma imagem capturada no lado do aparelho móvel 120 com o capacete de realidade virtual 110.

[0047] A figura 8A é um diagrama que mostra uma situação em que uma unidade de câmera 605 é montada de forma que uma plataforma de câmera 606 possa controlar a linha de visão nas respectivas direções de rolagem, de inclinação e de giro panorâmico.

[0048] A figura 8B é um diagrama que mostra uma situação em que a distância entre a câmera do olho esquerdo e a câmera do olho direito que constituem uma câmera estéreo é variável.

[0049] A figura 8C é um diagrama que mostra uma situação em que uma câmera principal 801 é montada na armação principal de um aparelho móvel 120-2 como um automóvel e uma câmera secundária 802 é montada atrás da câmera principal 801.

[0050] A figura 9 é um diagrama que mostra uma situação em que a posição e a postura de um campo de exibição exibido em um painel de exibição 409 são movidas de acordo com o movimento da cabeça de um usuário.

[0051] A figura 10 é um diagrama que mostra uma sequência de operação de exemplo para exibir uma imagem grande angular, tal como uma imagem de todo o céu capturada no lado de um aparelho móvel 120, a imagem grande angular sendo feita para seguir a postura da cabeça do usuário no lado do capacete de realidade virtual 110.

[0052] A figura 11 é um diagrama que mostra uma modificação da sequência de operação para exibir uma imagem grande angular, tal como uma imagem de todo o céu capturada no lado de um aparelho móvel 120, a imagem grande angular sendo feita para seguir a postura da cabeça do usuário no lado do capacete de realidade virtual 110.

[0053] A figura 12A é um diagrama para explicar um método de controle do ponto de convergência quando uma imagem tridimensional capturada for exibida no lado do capacete de realidade virtual 110 com base na informação de velocidade sobre um aparelho móvel 120.

[0054] A figura 12B é um diagrama para explicar o método de controle do ponto de convergência quando uma imagem tridimensional capturada for exibida no lado do capacete de realidade virtual 110 com base na informação de velocidade sobre um aparelho móvel 120.

[0055] A figura 12C é um diagrama para explicar o método de controle do ponto de convergência quando uma imagem tridimensional capturada for exibida no lado do capacete de realidade virtual 110 com base na informação de velocidade sobre um aparelho móvel 120.

[0056] A figura 13A é um diagrama para explicar um método de captura de uma imagem tridimensional durante a variação de uma distância interpontos de vista de acordo com uma operação de aproximação.

[0057] A figura 13B é um diagrama para explicar o método de captura de uma imagem tridimensional durante a variação da distância interpontos de vista d de acordo com uma operação de aproximação.

[0058] A figura 14 é um diagrama que mostra uma situação em que a cabeça é inclinada para cima, e a unidade de câmera 605 montada em um aparelho móvel 120-2 também é inclinada para cima.

[0059] A figura 15 é um diagrama que mostra uma situação em que o eixo geométrico de inclinação da unidade de câmera 605 montada no aparelho móvel 120-2 fica fixo em uma posição que é rotada para cima em Δθy do eixo geométrico de inclinação da cabeça do usuário.

[0060] A figura 16 é um diagrama que mostra uma situação em que o sistema de coordenadas da unidade de câmera 605 é deslocado nas respectivas direções de giro panorâmico, de inclinação e de rolagem em relação ao sistema de coordenadas da cabeça do usuário.

[0061] A figura 17 é um diagrama que mostra uma situação em que informação de local sobre um usuário é exibida como uma pequena tela na tela que exibe uma imagem capturada por um aparelho móvel 120.

[0062] A figura 18 é um diagrama que mostra uma situação em que informação de local sobre um usuário é exibida em uma tela grande e uma imagem capturada é exibida em uma pequena tela.

[0063] A figura 19 é um diagrama que mostra um exemplo de exibição da informação de local sobre um usuário.

[0064] A figura 20 é um diagrama que mostra um exemplo de exibição da informação de local sobre um usuário.

[0065] A figura 21 é um diagrama que mostra uma situação em que um rastreador automático 2100 equipado com uma câmera 2101 está rastreando a traseira de um aparelho móvel 120-1 que voa no ar.

[0066] A figura 22 é um diagrama que mostra um exemplo de uma imagem do aparelho móvel 120-1 capturada por trás pela câmera 2101 do rastreador automático 2100.

[0067] A figura 23 é um diagrama que mostra um exemplo de uma imagem da linha de visão do carro capturada pelo aparelho móvel 120-2 como um automóvel.

[0068] A figura 24 é um diagrama que mostra um exemplo de uma situação em que um usuário que usa o capacete de realidade virtual 110 segue um aparelho móvel em movimento 120-3 com seus olhos.

[0069] A figura 25 é um diagrama que mostra um exemplo de uma imagem da linha de autovisão de um usuário que está seguindo o aparelho móvel 120-3 com seus olhos, a imagem da linha de autovisão sendo capturada por uma câmera externa 413.

[0070] A figura 26 é um diagrama que mostra um esquema de exemplo de imagens capturadas por um aparelho móvel 120 em diferentes posições de ponto de vista.

[0071] A figura 27 é um diagrama que mostra uma situação em que imagens observadas têm distorção trapezoidal de acordo com a inclinação para cima e para baixo da cabeça de um usuário.

[0072] A figura 28 é um diagrama que mostra uma situação em que imagens AR do obstáculo virtual 2801 e uma área proibida 2802 são exibidas em uma imagem da linha de visão do carro (o mundo real) capturada pelo aparelho móvel 120-2.

MODOS PARA REALIZAR A INVENÇÃO

[0073] O seguinte é uma descrição detalhada de modalidades da tecnologia descrita nesta especificação em relação aos desenhos.

A. Configuração do Sistema

[0074] A figura 1 mostra esquematicamente a configuração de um sistema de exibição de imagem 100 de acordo com uma modalidade da tecnologia descrita nesta especificação. O sistema de exibição de imagem 100 mostrado no desenho inclui um aparelho de exibição de imagem (um capacete de realidade virtual) 110 montado na cabeça ou no rosto de um usuário, aparelhos móveis 120-1, 120-2, 120-3 e outros que são modelos móveis de uma aeronave (ou um helicóptero ou algum outro objeto voador), um automóvel, uma embarcação e congêneres, e um controlador 130 que controla sem fio os aparelhos móveis 120. Cada um dos aparelhos móveis 120-1, 1202, 120-3, e ainda outros é equipado com uma câmera sem fio (não mostrada), e captura imagens do cenário durante o movimento. O controlador 130 pode ser um terminal de informação multifuncional, tal como um telefone inteligente, e inicia um aplicativo para controlar os aparelhos móveis 120.

[0075] O capacete de realidade virtual 110 e os aparelhos móveis 120, e o controlador 130 e os aparelhos móveis 120 são conectados sem fio por meio de uma rede sem fio ou comunicação por infravermelho ou congêneres.

[0076] Cada um dos aparelhos móveis 120 é equipado com uma câmera sem fio (não mostrada) por meio de uma plataforma de câmera que pode mudar sua postura sobre os respectivos eixos geométricos de giro panorâmico, inclinação e guinada. Esta câmera sem fio pode capturar imagens de todo o céu ou imagens da esfera celeste, ou imagens panorâmicas, tais como imagens de meio céu e imagens menores. Alternativamente, a câmera sem fio pode realizar tratamento de imagem grande angular, usando uma lente tipo olho de peixe.

[0077] Os aparelhos móveis 120 transmitem imagens capturadas com as câmeras sem fio para o controlador 130 e o capacete de realidade virtual 110. Em um caso em que imagens capturadas puderem ser transferidas diretamente entre o capacete de realidade virtual 110 e os aparelhos móveis 120, entretanto, os aparelhos móveis 120 não precisam transferir imagens capturadas para o controlador 130, e conexão sem fio entre o controlador 130 e o capacete de realidade virtual 110 não é necessária. Na descrição a seguir, o controlador 130 não será descrito com detalhes na consideração de que comunicação de dados pode ser realizada diretamente entre o capacete de realidade virtual 110 e os aparelhos móveis 120.

[0078] Embora o usuário que usa o capacete de realidade virtual 110 esteja controlando os aparelhos móveis 120 com o controlador 130 no exemplo mostrado na figura 1, uma pessoa diferente do usuário que aprecia imagens capturadas enviadas a partir dos aparelhos móveis 120 com o capacete de realidade virtual 110 pode controlar os aparelhos móveis 120 com o controlador 130.

[0079] A figura 2 é uma vista frontal do usuário usando o capacete de realidade virtual 110. O capacete de realidade virtual 110 mostrada no desenho é uma estrutura com uma forma similar àquela de um par de óculos, e é projetada para cobrir diretamente os olhos direito e esquerdo do usuário usando o capacete de realidade virtual 110. Nos locais no lado interno da armação principal do capacete de realidade virtual 110 voltado para os olhos direito e esquerdo, painéis de exibição (não mostrados na figura 2) que o usuário está observando são providos. Os painéis de exibição são formados com microvisores, tais como dispositivos de EL orgânica ou visor de cristal líquido.

[0080] Quase no centro da superfície frontal da armação principal do capacete de realidade virtual 110 com uma forma tipo óculos, uma câmera externa 413 para inserir imagens das cercanias (a visão do usuário) é provida. Adicionalmente, microfones 201 e 202 são providos próximos das extremidades direita e esquerda do elemento de suporte, respectivamente. Como os dois microfones 201 e 202 são providos, apenas a voz localizada no centro (a voz do usuário) é reconhecida e pode ser separada do ruído do ambiente e de vozes de outras pessoas. Por exemplo, uma operação incorreta durante uma operação de entrada de voz pode ser impedida.

[0081] A figura 3 é uma vista de topo do usuário usando o capacete de realidade virtual 110 mostrada na figura 2. O capacete de realidade virtual 110 mostrada no desenho tem painéis de exibição para o olho esquerdo e o olho direito nas superfícies laterais voltadas para o rosto do usuário. Os painéis de exibição são formados com microvisores, tais como dispositivos de EL orgânica ou visor de cristal líquido. Imagens exibidas nos painéis de exibição direito e esquerdo são observadas como imagens virtuais ampliadas com os olhos direito e esquerdo do usuário, que passaram através das respectivas unidades ópticas da imagem virtual. Já que a altura do olho e a distância interpupilar variar entre indivíduos, posicionamento precisa ser realizado entre os respectivos sistemas de exibição direito e esquerdo e os olhos do usuário. No exemplo mostrado na figura 3, um mecanismo de ajuste interpupilar é provido entre o painel de exibição para o olho direito e o painel de exibição para o olho esquerdo.

[0082] A figura 4 mostra um exemplo da estrutura interna do capacete de realidade virtual 110. O seguinte é uma descrição dos respectivos componentes.

[0083] Uma unidade de controle 401 inclui uma ROM (Memória Exclusiva de Leitura) 401A e uma RAM (Memória de Acesso Aleatório) 401B. A ROM 401A armazena códigos de programa a serem executados pela unidade de controle 401 e vários tipos de dados. Pela execução de um programa carregado na RAM 401B, a unidade de controle 401 inicia o controle de exibição de imagem, e controla coletivamente operações da íntegra do capacete de realidade virtual 11000. Exemplos de programas e dados armazenados na ROM 401A incluem um programa de controle de exibição de imagem, um programa para processamento de comunicação com dispositivos externos, tais como os aparelhos móveis 120 e o controlador 130, e informação de identificação exclusiva deste aparelho 110. O programa de controle de exibição de imagem é para realizar controle de exibição em imagens capturadas recebidas a partir dos aparelhos móveis 120, por exemplo, mas será descrito com detalhes a seguir.

[0084] Uma unidade de operação de entrada 402 inclui uma ou mais peças de operação com as quais o usuário realiza uma operação de entrada, tais como teclas, botões ou comutadores. A unidade de operação de entrada 402 recebe uma instrução do usuário por meio das peças de operação, e emite a instrução do usuário para a unidade de controle 401. A unidade de operação de entrada 402 também recebe uma instrução do usuário formada com um comando de controle remoto recebido por uma unidade de recepção de controle remoto 403, e também emite esta instrução do usuário para a unidade de controle 401.

[0085] Uma unidade de detecção de postura/local 404 é uma unidade que detecta a postura da cabeça do usuário usando o capacete de realidade virtual 110. A unidade de detecção de postura/local 404 é formada com um sensor de giro, um sensor de aceleração, um sensor de GPS (Sistema de Posicionamento Global) ou um sensor geomagnético. Alternativamente, a unidade de detecção de postura/local 404 é formada com uma combinação de dois ou mais destes sensores, com as vantagens e as desvantagens dos respectivos sensores sendo levadas em consideração.

[0086] A figura 5 mostra o sistema de coordenadas na postura a ser detectada pela unidade de detecção de postura/local 404. A direção da profundidade de uma imagem de exibição (uma imagem virtual ampliada) é o eixo geométrico z, a direção horizontal é o eixo geométrico y, a direção vertical é o eixo geométrico x e a posição da origem dos eixos geométricos x, y e z é a posição do ponto de vista. Desta maneira, a rolagem θz é equivalente ao movimento da cabeça do usuário ao redor do eixo geométrico z, a inclinação θy é equivalente ao movimento da cabeça do usuário ao redor do eixo geométrico y e o giro panorâmico θx é equivalente ao movimento da cabeça do usuário ao redor do eixo geométrico x. A unidade de detecção de postura/local 404 detecta os movimentos (θz, θ e θx) nas respectivas direções de rolagem, de inclinação e de giro panorâmico da cabeça do usuário, e o movimento paralelo da cabeça e, então, emite os movimentos para a unidade de controle 401. Como será descrito posteriormente, durante a exibição de uma imagem capturada por um aparelho móvel 120 na tela de um painel de exibição 409, a unidade de controle 401 pode apresentar uma imagem que segue o movimento da cabeça do usuário pelo movimento do campo de exibição para deslocar o movimento da cabeça detectado pela unidade de detecção de postura/local 404.

[0087] Uma unidade de detecção de estado 411 adquire informação de estado sobre o estado do usuário usando o capacete de realidade virtual 110, e emite a informação de estado para a unidade de controle 401. Por exemplo, o estado de operação do usuário (se o usuário está usando o capacete de realidade virtual 110), o estado de ação do usuário (o estado do movimento, tais como um estado em repouso, um estado caminhando ou um estado correndo, o estado aberto / fechado das pálpebras ou a direção da linha de visão), o estado mental (o nível de excitação, consciência, sensação ou emoção, tal como se o usuário está absorto ou concentrado na observação da imagem de exibição) e o estado fisiológico são obtidos como a informação de estado. Para adquirir a informação de estado do usuário, a unidade de detecção de estado 411 pode incluir vários tipos de sensores de estado (não mostrados), tais como um sensor de anexação formado com um comutador mecânico ou congêneres, um sensor de giro, um sensor de aceleração, um sensor de velocidade, um sensor de pressão, um sensor de temperatura do corpo, um sensor de transpiração, um sensor de potencial mioelétrico, um sensor de potencial ocular e um sensor de onda cerebral.

[0088] Uma unidade de realimentação (FB) de sensação operacional 412 inclui um gerador de vibração ou congêneres, e proporciona realimentação da sensação operacional para o usuário que usa o capacete de realidade virtual 110 através de sensação tátil ou vibração.

[0089] A câmera externa 413 é colocada quase no centro da superfície frontal da armação principal do capacete de realidade virtual 110 com uma forma tipo óculos ou uma forma tipo chapéu (veja a figura 2), e pode capturar imagens das cercanias. Também, controle de postura nas direções de giro panorâmico, de inclinação e de rolagem da câmera externa 413 é realizado de acordo com a direção da linha de visão do usuário detectada pela unidade de detecção da informação de estado 411, de forma que uma imagem no nível da linha de visão do usuário possa ser capturada com a câmera externa 413. Além do mais, as velocidades relativas dos aparelhos móveis 120 podem ser medidas com a câmera externa 413.

[0090] Uma unidade de comunicação 405 realiza um processo de comunicação com dispositivos externos, tais como os aparelhos móveis 120 e o controlador 130, e também realiza processos de modulação/demodulação e processos de codificação/decodificação nos sinais de comunicação. Por exemplo, a unidade de comunicação 405 recebe imagens capturadas por câmeras sem fio a partir dos aparelhos móveis 120. Imagens recebidas, demoduladas e decodificadas pela unidade de comunicação 405, ou outros dados recebidos, são supridos para a unidade de controle 401. A unidade de controle 401 também envia dados a serem transmitidos para dispositivos externos através da unidade de comunicação 405.

[0091] A unidade de comunicação 405 pode ter qualquer estrutura. Por exemplo, a unidade de comunicação 405 pode ser projetada de acordo com o padrão de comunicação a ser usado em operações de transmissão/recepção com dispositivos externos com os quais comunicação deve ser realizada. O padrão de comunicação pode ser tanto para comunicação por cabo quanto para comunicação sem fio. Aqui, o padrão de comunicação pode ser MHL (Ligação Móvel em Alta Definição), USB (Barramento Serial Universal), HDMI (uma marca registrada) (Interface Multimídia em Alta Definição), WI-FI (uma marca registrada), comunicação por BLUETOOTH (uma marca registrada) ou comunicação por infravermelho, por exemplo.

[0092] Uma unidade de armazenamento 406 é um armazenamento de grande capacidade que é formado com uma SSD (Unidade em Estado Sólido) ou congêneres. A unidade de armazenamento 406 armazena o aplicativo a ser executado por uma unidade de controle 701, e os dados de imagens de todo o céu, imagens tipo olho de peixe, imagens panorâmicas e congêneres capturadas pelos aparelhos móveis 120.

[0093] Uma unidade de processamento de imagem 407 realiza adicionalmente processamento de sinal, tal como correção de qualidade da imagem, nos sinais de imagem emitidos a partir da unidade de controle 401, e converte a resolução dos sinais de imagem para uma resolução compatível com a tela do painel de exibição 409. Uma unidade de acionamento de exibição 408 seleciona sequencialmente os pixels do painel de exibição 409 pela linha, e realiza escaneamento sequencial de linha nos pixels, para suprir sinais de pixel com base nos sinais de imagem sujeitos ao processamento de sinal.

[0094] O painel de exibição 409 é formado com um microvisor, tais como um dispositivo de EL (Eletroluminescência) orgânica ou um visor de cristal líquido. Uma unidade óptica da imagem virtual 410 amplia a imagem exibida no painel de exibição 409, e projeta a imagem como uma imagem virtual ampliada para que o usuário veja.

[0095] A unidade óptica da imagem virtual 410 amplia a imagem exibida no painel de exibição 409 em uma ampliação de 1.000 ou mais, por exemplo, e forma, na retina, uma imagem virtual de aproximadamente 19,05 metros (750 polegadas) a 20 metros de distância dos olhos do usuário. Isto é equivalente a 45,09 graus no ângulo de visualização horizontal dos pixels exibidos.

[0096] A figura 6 mostra um exemplo da estrutura interna de um aparelho móvel 120. Da forma mostrada na figura 1, os aparelhos móveis 120 são modelos de um objeto em movimento, tais como uma aeronave, um helicóptero, um automóvel, uma embarcação e congêneres, e, basicamente, variam em uma unidade do mecanismo de movimento 603, ao mesmo tempo em que são substancialmente idênticos nos outros aspectos funcionais.

[0097] Uma unidade de armazenamento 602 é realizada por um dispositivo de memória, tais como uma RAM ou uma ROM, e um armazenamento de grande capacidade, tais como uma unidade de disco rígido ou uma SSD. A unidade de armazenamento 602 é usada para armazenar o programa a ser executado por uma CPU (Unidade de Processamento Central) 601 e imagens capturadas por uma câmera. A CPU 601 controla os respectivos componentes no aparelho móvel 120 pela execução do programa armazenado na unidade de armazenamento 602.

[0098] O aparelho móvel 120 tem a unidade do mecanismo de movimento 603 que varia com o tipo do objeto em movimento, tais como uma aeronave, um helicóptero, um automóvel ou uma embarcação, e a unidade do mecanismo de movimento 603 é ativada de acordo com uma instrução de movimento da CPU 601, e move o aparelho móvel 120.

[0099] Uma unidade de detecção de local/postura/velocidade 604 inclui um sensor de giro, um sensor de aceleração, um sensor de GPS, um sensor geomagnético e congêneres, e adquire informação sobre o local e a postura atuais do aparelho móvel 120 e informação sobre a velocidade de movimento ocasionada pela unidade do mecanismo de movimento 603. No caso do aparelho móvel 120-2, que é um automóvel, a unidade de detecção de local/postura/velocidade 604 pode calcular a velocidade do movimento do número de revoluções do motor que rota as rodas, a relação de transmissão do redutor, e o diâmetro dos pneus, por exemplo. Se estes valores numéricos forem medidos antes da expedição, e os dados forem armazenados na unidade de armazenamento 602, a velocidade pode ser calculada simplesmente pela mediação do número de revoluções do motor no momento do uso.

[00100] Uma unidade de câmera 605 é formada com uma câmera estéreo, por exemplo, e pode capturar imagens tridimensionais. A unidade de câmera 605 é montada no aparelho móvel 120 por meio de uma plataforma de câmera 606. A unidade de câmera 605 na posição padrão fica voltada para frente em relação ao aparelho móvel 120 (ou fica voltada na direção do movimento ocasionado pela operação da unidade do mecanismo de movimento 603) e, primariamente, captura imagens do ponto de vista de primeira pessoa (FPV).

[00101] A plataforma de câmera 606 pode operar nas respectivas direções de rolagem, de inclinação e de giro panorâmico, e mudar a linha de visão da unidade de câmera 605 de acordo com uma instrução de mudança da linha de visão proveniente da CPU 601. Desta maneira, a unidade de câmera 605 pode capturar imagens grande angulares, tais como imagens panorâmicas e imagens de todo o céu. A figura 8A mostra uma situação em que a unidade de câmera 605 é montada, de forma que a plataforma de câmera 606 possa controlar a linha de visão nas respectivas direções de rolagem, de inclinação e de giro panorâmico.

[00102] A unidade de câmera 605 pode ajustar a distância interpontos de vista d entre as duas câmeras que formam a câmera estéreo. A figura 8B mostra uma situação em que a distância interpontos de vista d entre a câmera do olho esquerdo e a câmera do olho direito que constituem a câmera estéreo é variável. Nesta modalidade, não há convergência entre a câmera do olho esquerdo e a câmera do olho direito, e as respectivas linhas de visão ficam quase paralelas. Mais preferivelmente, a câmera do olho esquerdo e a câmera do olho direito usam foco profundo ou realizam tratamento de imagem pelo aumento da profundidade do objeto.

[00103] A unidade de câmera 605 pode ser formada com duas ou mais câmeras, tais como uma câmera principal que captura imagens de ponto de vista em primeira pessoa e uma câmera secundária que realiza tratamento de imagem a partir de trás da armação principal do aparelho móvel 120. A figura 8C mostra uma situação em que uma câmera principal 801 é montada na armação principal do aparelho móvel 120-2 como um automóvel e uma câmera secundária 802 é montada atrás da câmera principal 801.

[00104] Uma unidade de comunicação 607 realiza um processo de comunicação com dispositivos externos, tais como o capacete de realidade virtual 110 e o controlador 130, e também realiza processos de modulação/demodulação e processos de codificação/decodificação nos sinais de comunicação. Por exemplo, quando a unidade de comunicação 607 receber uma instrução de movimento a partir do controlador 130, a CPU 601 instrui a unidade do mecanismo de movimento 603 a se mover. A unidade de comunicação 607 também transmite uma imagem capturada pela unidade de câmera 605, a informação sobre o local e a postura da armação principal do aparelho móvel 120 detectada pela unidade de detecção de local/postura 604 para o capacete de realidade virtual 110 e o controlador 130.

[00105] No sistema de exibição de imagem 100 de acordo com esta modalidade, uma imagem capturada pela unidade de câmera 605 montada no aparelho móvel 120 é transferida por meio do controlador 130 ou diretamente para o capacete de realidade virtual 110. Desta maneira, o usuário pode apreciar a imagem capturada enviada a partir do aparelho móvel 120 com o capacete de realidade virtual 110.

[00106] Também, no sistema de exibição de imagem 100 de acordo com esta modalidade, quando uma imagem grande angular, tais como uma imagem panorâmica ou uma imagem de todo o céu, capturada pela unidade de câmera 605 montada no aparelho móvel 120 for reproduzida e exibida com o capacete de realidade virtual 110, a CPU 601 move o campo de exibição para deslocar o movimento da cabeça do usuário detectado pela unidade de detecção de postura/local 604. Desta maneira, uma imagem que segue o movimento da cabeça do usuário é exibida. No lado do capacete de realidade virtual 110, uma imagem combinada gerada pela sobreposição de uma imagem AR (Realidade Aumentada) como informação da imagem virtual na imagem real no campo de exibição é exibida conforme necessário.

[00107] A figura 7 mostra esquematicamente a estrutura funcional da unidade de controle 401 para exibir uma imagem capturada no lado do aparelho móvel 120 com o capacete de realidade virtual 110. A estrutura funcional mostrada no desenho é realizada pela unidade de controle 401 executando um aplicativo predeterminado, por exemplo.

[00108] A unidade de controle do campo de exibição 701 move a posição e a postura do campo de exibição (veja a figura 5) exibido no painel de exibição 409 de acordo com o movimento da cabeça do usuário detectado através da unidade de detecção de postura/local 404, e emite o campo de exibição determinado para uma unidade de recorte de imagem 702.

[00109] A unidade de recorte de imagem 702 recorta a imagem no campo de exibição determinado pela unidade de controle do campo de exibição 701 a partir da imagem capturada pelo aparelho móvel 120 e recebida pela unidade de comunicação 405, e emite a imagem recortada para uma unidade de combinação de imagem 703.

[00110] A unidade de combinação de imagem 703 gera uma imagem combinada pela sobreposição de uma imagem AR na imagem real no campo de exibição conforme necessário, e emite a imagem combinada para a unidade de processamento de imagem 407 no estágio posterior. Por exemplo, quando o local atual do usuário for adquirido a partir da unidade de detecção de postura/local 404 ou quando o local atual do aparelho móvel 120 for adquirido, uma imagem AR de uma guia ou um obstáculo correspondente à informação de local é gerada (descrito posteriormente). Para proporcionar ao usuário realimentação de uma sensação operacional correspondente à imagem AR, tal como colisão com obstáculo, a unidade de combinação de imagem 703 instrui a unidade de realimentação de sensação operacional 412 a emitir a realimentação.

[00111] A unidade de combinação de imagem 703 também realiza processamento de correção na distorção que aparece quando a imagem recortada do campo de exibição for emitida para o, e exibida no painel de exibição 409.

[00112] A figura 9 ilustra uma situação em que a posição e a postura do campo de exibição exibido no painel de exibição 409 são movidas de acordo com o movimento da cabeça do usuário.

[00113] Quando a unidade de detecção de postura/local 404 detectar que a cabeça ou a linha de visão do usuário se moveu em uma direção de giro panorâmico para a direita, a unidade de controle do campo de exibição 701 move o campo de exibição 910 na direção de uma seta denotada pelo número de referência 901 no desenho. Em decorrência disto, a unidade de recorte de imagem 702 recorta uma imagem da imagem grande angular, e a imagem exibida no painel de exibição 409 também muda.

[00114] Quando a unidade de detecção de postura/local 404 detectar que a cabeça ou a linha de visão do usuário se moveu em uma direção do giro panorâmico para a esquerda, a unidade de controle do campo de exibição 701 move o campo de exibição 910 na direção de uma seta denotada pelo número de referência 902 no desenho.

[00115] Quando a unidade de detecção de postura/local 404 detectar que a cabeça ou a linha de visão do usuário se moveu em uma direção de inclinação para cima, a unidade de controle do campo de exibição 701 move o campo de exibição 910 na direção de uma seta denotada pelo número de referência 903 no desenho.

[00116] Quando a unidade de detecção de postura/local 404 detectar que a cabeça ou a linha de visão do usuário se moveu em uma direção de inclinação para baixo, a unidade de controle do campo de exibição 701 move o campo de exibição 910 na direção de uma seta denotada pelo número de referência 904 no desenho.

[00117] Quando a unidade de detecção de postura/local 404 detectar que a cabeça ou a linha de visão do usuário se moveu em uma direção de rolagem para a direita, a unidade de controle do campo de exibição 701 move o campo de exibição 910 na direção de uma seta denotada pelo número de referência 905 no desenho.

[00118] Quando a unidade de detecção de postura/local 404 detectar que a cabeça ou a linha de visão do usuário se moveu em uma direção de rolagem para a esquerda, a unidade de controle do campo de exibição 701 move o campo de exibição 910 na direção de uma seta denotada pelo número de referência 906 no desenho.

[00119] A figura 10 mostra uma sequência de operação de exemplo para exibir uma imagem grande angular, tal como uma imagem de todo o céu, capturada no lado de um aparelho móvel 120, a imagem grande angular sendo feita para seguir a postura da cabeça do usuário no lado do capacete de realidade virtual 110. Na sequência de operação mostrada no desenho, comunicação de dados é realizada diretamente entre o capacete de realidade virtual 110 e o aparelho móvel 120, mas algum outro aparelho, tal como o controlador 130, pode intervir entre o capacete de realidade virtual 110 e o aparelho móvel 120.

[00120] O capacete de realidade virtual 110 transmite uma solicitação de imagem capturada para o aparelho móvel 120 que está se movendo ao mesmo tempo em que é remotamente controlado pelo controlador 130 (SEQ1001).

[00121] Em resposta à solicitação de imagem capturada, o aparelho móvel 120 realiza um processo de captura de imagem com a unidade de câmera 605 ao mesmo tempo em que aciona a plataforma de câmera 606 (SEQ1002). Depois que a imagem capturada for processada e uma imagem grande angular, tal como uma imagem de todo o céu, for gerada, a imagem é transmitida para o capacete de realidade virtual 110 (SEQ1003). Entretanto, o aparelho móvel 120 pode não realizar tratamento de imagem em resposta à solicitação do capacete de realidade virtual 110, mas pode realizar constantemente um processo de tratamento de imagem e transmitir uma imagem grande angular, tal como uma imagem de todo o céu, para o capacete de realidade virtual 110 em um tempo predeterminado.

[00122] No momento da transmissão da imagem ou algum outro momento, o aparelho móvel 120 também pode transmitir informação sobre o local, a postura e a velocidade da armação principal do aparelho móvel 120 medida pela unidade de detecção de local/postura/velocidade 604.

[00123] No lado do capacete de realidade virtual 110, a unidade de detecção de postura/local 404 detecta o movimento da cabeça do usuário ou a direção da linha de visão (SEQ1004). De acordo com a direção da linha de visão detectada, a posição do campo de exibição a ser recortado a partir da imagem capturada recebida é controlada, e a imagem recortada é exibida no painel de exibição 409 (SEQ1005).

[00124] A figura 11 mostra uma modificação da sequência de operação para exibir uma imagem grande angular, tal como uma imagem de todo o céu, capturada no lado de um aparelho móvel 120, a imagem grande angular sendo feita para seguir a postura da cabeça do usuário no lado do capacete de realidade virtual 110. Na sequência de operação mostrada no desenho, a comunicação de dados é realizada diretamente entre o capacete de realidade virtual 110 e o aparelho móvel 120, mas algum outro aparelho, tal como o controlador 130, pode intervir entre o capacete de realidade virtual 110 e o aparelho móvel 120.

[00125] No lado do capacete de realidade virtual 110, a unidade de detecção de postura/local 404 monitora o movimento da cabeça do usuário ou a direção da linha de visão (SEQ1101).

[00126] O capacete de realidade virtual 110 transmite uma solicitação de imagem capturada para o aparelho móvel 120 que está se movendo ao mesmo tempo em que é remotamente controlada pelo controlador 130 (SEQ1102). Fazendo isto, o capacete de realidade virtual 110 também transmite a informação da linha de visão sobre o usuário.

[00127] Em resposta à solicitação da imagem capturada, o aparelho móvel 120 realiza um processo de captura de imagem com a unidade de câmera 605 ao mesmo tempo em que aciona a plataforma de câmera 606 (SEQ1103). Depois que a imagem capturada for processada e uma imagem grande angular, tal como uma imagem de todo o céu, for gerada, uma imagem em um campo de exibição de acordo com a linha de visão do usuário é recortada (SEQ1104) e é transmitida para o capacete de realidade virtual 110 (SEQ1105).

[00128] No momento da transmissão da imagem, o aparelho móvel 120 também pode transmitir informação sobre o local, a postura e a velocidade da armação principal do aparelho móvel 120 medida pela unidade de detecção de local/postura/velocidade 604. No caso do aparelho móvel 120-2, que é um automóvel, a velocidade do movimento pode ser calculada a partir do número de revoluções do motor, da relação de transmissão do redutor e do diâmetro dos pneus, por exemplo. Alternativamente, no lado do capacete de realidade virtual 110, a velocidade relativa do aparelho móvel 120 pode ser medida com a câmera externa 413.

[00129] O capacete de realidade virtual 110, então, exibe a imagem recebida no painel de exibição 409 (SEQ1106).

[00130] Quando uma imagem grande angular, tal como uma imagem de todo o céu, capturada no lado de um aparelho móvel 120 for feita para seguir a postura da cabeça do usuário e for exibida no lado do capacete de realidade virtual 110, é possível executar tanto a sequência de operação da figura 10 quanto a sequência de operação da figura 11. Para facilidade de explicação, as descrições a seguir são com base na consideração de que a sequência de operação mostrada na figura 10 deve ser executada.

B. Aplicativo de Processamento de Imagem

[00131] O seguinte é uma descrição detalhada do processo a ser realizado quando uma imagem capturada no lado de um aparelho móvel 120 for exibida no capacete de realidade virtual 110.

B-1. Método de Exibição de uma Imagem Tridimensional de Todo o Céu

[00132] A unidade de câmera 605 é formada com uma câmera estéreo, da forma mostrada na figura 8B. Não há convergência entre a câmera do olho esquerdo e a câmera do olho direito, as respectivas linhas de visão ficam quase paralelas e tratamento de imagem com foco profundo é realizado.

[00133] Neste particular, um ser humano tende a olhar para objetos distantes quando se move em alta velocidade, mas tende a olhar para objetos nas proximidades quando se move em baixa velocidade.

[00134] Em vista disto, quando o capacete de realidade virtual 110 exibir uma imagem capturada por um aparelho móvel 120, o ponto de convergência é ajustado com base na informação de velocidade sobre o aparelho móvel 120 no processo realizado pela unidade de combinação de imagem 703, por exemplo.

[00135] Quando IL e IR representarem imagens capturadas por uma câmera do olho esquerdo e uma câmera do olho direito usando um método paralelo de foco profundo (veja a figura 12A), à medida que a velocidade do aparelho móvel 120 fica mais alta, a sobreposição entre as imagens direita e esquerda IL e IR fica menor, para aumentar a distância até o ponto de convergência ou o ponto em que as linhas de visão dos olhos direito e esquerdo fazem interseção. Desta maneira, faz-se com que o usuário observe uma imagem que parece mais clara em uma distância maior (veja a figura 12B). Em conjunto com o ajuste do ponto de convergência, ajuste do ponto de foco também é realizado de forma que as regiões diferentes da posição na tela fixa (o ponto de convergência) fiquem borradas. Desta maneira, o efeito visual para fazer o usuário visualizar objetos distantes mais claramente é aumentado, e o usuário pode experimentar sensação mais realística de uma jornada em um objeto em movimento em alta velocidade.

[00136] À medida que a velocidade do aparelho móvel 120 fica mais baixa, a sobreposição entre as imagens direita e esquerda IL e IR fica maior, para encurtar a distância até o ponto de convergência ou o ponto em que as linhas de visão dos olhos direito e esquerdo. Desta maneira, faz-se com que o usuário observe uma imagem que é mais clara em uma menor distância (veja a figura 12C). Em conjunto com o ajuste do ponto de convergência, ajuste do ponto de foco também é realizado de forma que as regiões diferentes da posição na tela fixa fiquem borradas. Desta maneira, o efeito visual para fazer o usuário visualizar objetos nas proximidades mais claramente é aumentado, e o usuário pode experimentar a sensação mais realística de uma jornada em um objeto em movimento em baixa velocidade.

[00137] Em resumo, com movimento derivado da velocidade do ponto de vista que inclui o ponto de foco da pessoa sendo considerado, a pessoa pode apreciar visualização natural. Quando a velocidade do aparelho móvel 120 ficar mais alta, o usuário pode visualizar objetos mais distantes através do capacete de realidade virtual 110. Quando a velocidade do aparelho móvel 120 ficar mais baixa, o usuário pode visualizar objetos nas proximidades.

B-2. Método de Captura de uma Imagem Tridimensional de Todo o Céu

[00138] Em um caso em que uma imagem tridimensional para exibição de todo o céu precisar ser capturada, se aproximação parcial for realizada, uma imagem tipo pano de fundo é observada como se o usuário estivesse usando um telescópio. Isto é em virtude de a distância interpontos de vista ser fixa. Portanto, no lado do aparelho móvel 120, tratamento de imagem é realizado ao mesmo tempo em que se faz com que uma câmera estéreo que pode mover a distância interpontos de vista entre as câmeras direita e esquerda mova a distância interpontos de vista de acordo com a ampliação da aproximação, para obter uma imagem tridimensional de todo o céu natural. Alternativamente, em um caso em que a distância interpontos de vista entre a câmera do olho esquerdo e a câmera do olho direito for fixa, o aparelho móvel 120 ou o capacete de realidade virtual 110 podem realizar processamento de imagem para ampliar o ponto de vista, tal como extrapolando o exterior dos pontos de vista das câmeras.

[00139] Especificamente, no lado do aparelho móvel 120, a câmera estéreo é projetada para ser capaz de mover 50 até 100 mm, que é a distância interpontos de vista d entre a câmera do olho esquerdo e a câmera do olho direito (veja a figura 13A). A distância interpontos de vista é aumentada no momento de aproximação, mas é reduzida no momento de afastamento. Quando a câmera estéreo for instalada, esta situação é criada tornando a distância interpontos de vista variável com a aproximação. A figura 13B mostra uma situação em que a distância interpontos de vista d entre a câmera do olho esquerdo e a câmera do olho direito é encurtada em 50 mm quando afastamento for realizado. Nesta situação, o capacete de realidade virtual 110 ou o controlador 130 podem controlar diretamente a unidade de câmera 605 de forma que uma imagem tridimensional seja visualizada em tempo real. Alternativamente, imagens capturadas com diferentes distâncias interpontos de vista são gravadas, e a distância interpontos de vista da imagem a ser reproduzida é mudada em sincronismo com a operação de aproximação no momento da visualização. Também, no momento da visualização, uma imagem com uma distância interpontos de vista intermediária pode ser gerada através de processamento de imagem em sincronismo com a aproximação.

[00140] Em um caso em que a distância interpontos de vista da câmera estéreo for fixa, imagens de ponto de vista com diferentes distâncias interpontos de vista são combinadas através do processamento de imagem, e a imagem que é reproduzida é comutada para a imagem combinada em sincronismo com a aproximação. Desta maneira, aproximação tão natural quanto movimento do ponto de vista pode ser realizada.

[00141] Quando uma imagem tridimensional de todo o céu capturada no lado do aparelho móvel 120 for visualizada com o capacete de realidade virtual 110, o efeito do movimento do ponto de vista pode ser alcançado pela mudança da distância interpontos de vista entre as imagens direita e esquerda que são exibidas. Entretanto, um efeito de paralaxe do movimento tridimensional com movimento do ponto de vista não é alcançado. Para alcançar um efeito de paralaxe do movimento tridimensional, paralaxes precisam ser geradas por algum outro meio, tal como processamento de imagem, com paralaxes do movimento sendo levadas em consideração.

B-3. Interação Entre a Postura da Cabeça de um Usuário e uma Imagem Capturada

[00142] Em um caso em que o sistema de coordenadas de giro panorâmico, inclinação e rolagem da cabeça de um usuário (veja a figura 5) corresponder com o sistema de coordenadas de giro panorâmico, inclinação e rolagem da unidade de câmera 605 (veja a figura 8A), uma imagem do campo de exibição que segue o movimento da cabeça do usuário voltado para frente mostra um lado inferior enquanto o aparelho móvel 120 estiver se movendo. Por exemplo, no caso do aparelho móvel 120-2 que é um automóvel, apenas a superfície do solo é mostrada. Portanto, para obter uma imagem do cenário acima do aparelho móvel 120-2, o usuário precisa inclinar sua cabeça na direção para cima e inclinar a unidade de câmera 605 montada no aparelho móvel 120-2, também, na direção para cima (veja a figura 14). Entretanto, se o usuário continuar a olhar para cima enquanto o aparelho móvel 120-2 estiver se movendo, o pescoço do usuário ficará cansado.

[00143] Para contornar este problema, o eixo geométrico de inclinação da unidade de câmera 605 montada no aparelho móvel 120-2 pode ser fixo em uma posição que é deslocada para cima em Δθy a partir do eixo geométrico de inclinação da cabeça do usuário.

[00144] Por exemplo, quando o usuário estiver usando o capacete de realidade virtual 110 e estiver olhando para cima em um ângulo desejado Δθy, deslocamento em Δθy a partir do eixo geométrico de inclinação da unidade de câmera 605 pode ser solicitado através da unidade de operação de entrada 403. Da forma mostrada na figura 15, mesmo se o usuário novamente ficar voltado para frente depois de solicitar o deslocamento em Δθy, a postura da unidade de câmera 605 que interage com a cabeça do usuário permanece fixa na posição que é deslocada na direção de inclinação para cima em Δθy.

[00145] Alternativamente, uma instrução de deslocamento em Δθy para o eixo geométrico de inclinação da unidade de câmera 605 pode ser transmitida do capacete de realidade virtual 110 para o aparelho móvel 120 diretamente ou por meio do controlador 130. Neste caso, no lado do aparelho móvel 120, um processo de deslocamento do sistema de coordenadas é realizado na plataforma de câmera 606, por exemplo. Com o eixo geométrico de inclinação sendo deslocado, uma imagem capturada que segue o movimento da cabeça do usuário é recortada e exibida.

[00146] Alternativamente, em vez da transmissão de uma instrução de deslocamento do sistema de coordenadas para o aparelho móvel 120, processamento interno no capacete de realidade virtual 110 pode realizar o mesmo processo exposto. Por exemplo, em resposta a uma instrução de deslocamento em Δθy para o eixo geométrico de inclinação do usuário, a unidade de controle do campo de exibição 701 define um campo de exibição que é deslocado na direção de inclinação para cima em Δθy a partir do eixo geométrico de inclinação da linha de visão do usuário detectada pela unidade de detecção de postura/local 404.

[00147] O eixo geométrico de inclinação da unidade de câmera 605 certamente pode ser deslocado em Δθy não apenas na direção para cima, mas, também na direção para baixo. Igualmente, deslocamento em ±Δθx na direção do giro panorâmico ou deslocamento em ±Δθz na direção da rolagem (veja a figura 16) podem ser realizados de forma que uma imagem capturada que segue o movimento da cabeça do usuário seja recortada e exibida.

[00148] Em um caso em que um aparelho móvel 120 se tornar incapaz de operar o controlador 130, tal como quando o aparelho móvel 120-2 como um carro de corrida girar fora de controle durante a corrida, se uma imagem capturada pela unidade de câmera 605 que também está girando for exibida no lado do capacete de realidade virtual 110 em tempo real, o cenário que é exibido muda rapidamente e faz a cabeça do usuário girar, embora o usuário não tenha movido sua linha de visão. Portanto, o sistema de coordenadas da unidade de câmera 605 é projetado de forma que a imagem capturada não mude rapidamente, independente do movimento da cabeça do usuário. Alternativamente, uma imagem capturada em algum ponto (por exemplo, imediatamente depois do início da rodada) é salva, e um processo de comutação de exibição que segue o movimento da linha de visão do usuário pode ser realizado com base no sistema de coordenadas da unidade de câmera 605 em tempo.

B-4. Realimentação para o Usuário

[00149] Da forma supradescrita, o capacete de realidade virtual 110 inclui a unidade de realimentação de sensação operacional 412 que proporciona realimentação da sensação operacional para o usuário através de sensação tátil ou vibração. O capacete de realidade virtual 110 é um dispositivo a ser usado por um usuário, e pode proporcionar sensação tátil ou vibração como realimentação efetiva diretamente para o usuário.

[00150] Neste particular, cada aparelho móvel 120 é equipado com um sensor de aceleração como a unidade de detecção de local/postura/velocidade 604, e pode detectar a oscilação e o impacto aos quais o aparelho é sujeito durante o voo, corrida ou navegação.

[00151] Em vista disto, durante a exibição de uma imagem capturada no lado do aparelho móvel 120, o capacete de realidade virtual 110 monitora constantemente o valor detectado pelo sensor de aceleração do aparelho móvel 120, e instrui a unidade de realimentação de sensação operacional 412 a emitir a realimentação de acordo com a oscilação e o impacto aos quais o aparelho móvel 120 é sujeito.

[00152] Quando o aparelho móvel 120 colidir com o obstáculo que não existe no mundo real, mas é exibido em AR pela unidade de combinação de imagem 703, a unidade de realimentação de sensação operacional 412 também é instruída a emitir realimentação de acordo com o impacto virtual.

B-5. Exibição da Imagem AR

[00153] Em FPV convencional, uma imagem capturada por uma câmera montada em um modelo controlado por rádio é exibida como ela está. Nesta modalidade, por outro lado, o capacete de realidade virtual 110 sobrepõe uma imagem AR não existente em uma imagem capturada no lado de um aparelho móvel 120 e, então, exibe a imagem sobreposta.

[00154] No caso do aparelho móvel 120-1 que é um objeto voador, tais como uma aeronave ou um helicóptero, uma imagem AR de uma torre de transmissão ou congêneres é sobreposta na imagem capturada a ser exibida. No caso do aparelho móvel 120-2 para se deslocar na terra, tal como um automóvel (um carro de corrida), uma imagem AR de uma pista de corrida, tal como um circuito, é sobreposta na imagem capturada a ser exibida. No caso do aparelho móvel 120-3 que é uma embarcação, tal como um iate, uma imagem AR de uma boia é sobreposta na imagem capturada a ser exibida.

[00155] Em um caso em que o local de uma imagem AR for registrado antecipadamente, o capacete de realidade virtual 110 constantemente monitora o local atual do aparelho móvel 120 durante a exibição de uma imagem capturada. Quando o aparelho móvel 120 alcançar o local (ou o local for mostrado na imagem capturada), um processo de exibição de imagem AR inicia. Não apenas um poste indicador para movimento do aparelho móvel 120, tais como uma torre de transmissão ou uma boia, mas, também, um obstáculo virtual que atrapalha o movimento do aparelho móvel 120 ou uma área proibida, tal como uma área perigosa para que o aparelho móvel 120 atravesse, ou o recinto de outras pessoas podem ser mostrados em uma imagem AR. A figura 28 mostra uma situação em que imagens AR do obstáculo virtual 2801 e uma área proibida 2802 são exibidas em uma imagem da linha de visão do carro (o mundo real) capturada pelo aparelho móvel 120-2.

[00156] Em um caso em que um objeto a ser exibido em uma imagem AR for registrado antecipadamente, o capacete de realidade virtual 110 reconhece objetos mostrados em uma imagem capturada enviada a partir do aparelho móvel 120. Quando o objeto registrado for encontrado, o processo de exibição de imagem AR é iniciado. O objeto registrado pode ser um produto, uma pessoa, um animal de estimação, uma planta, um prédio ou congêneres que o usuário está procurando.

[00157] Uma imagem AR de um objeto é exibida em um caso em que um produto ou congêneres que o usuário está procurando for enfatizado, ou quando o objeto (que deve ser oculto do usuário) for apagado da tela.

[00158] Em um caso em que um estado de exibição de imagem AR for registrado antecipadamente, o capacete de realidade virtual 110 monitora o estado atual do aparelho móvel 120. Quando o aparelho móvel 120 entrar no estado registrado antecipadamente, o processo de exibição de imagem AR é iniciado. Um exemplo do estado supramencionado é um estado em que as ondas de rádio recebidas a partir do controlador 130 ficam mais fracas, e controle não pode ser realizado. Em um caso como este, a área em que as ondas de rádio não podem ser recebidas é definida como uma "área proibida", e orientação para impedir que o aparelho móvel 120 entre na área proibida é exibida como uma imagem AR. Em uma operação do sistema de exibição de imagem 100, certamente é possível prover orientação real, tal como uma placa de sinalização que indica a área proibida.

[00159] Além do mais, se os aparelhos móveis 120 estiverem localizados nas mesmas posições, forem os mesmos objetos ou estiverem no mesmo estado, diferentes imagens AR podem ser exibidas de acordo com as características (idade, nacionalidade, sexo, personalidade ou congêneres) dos respectivos usuários ou as habilidades dos respectivos usuários que operam os aparelhos móveis 120. Por exemplo, é esperado que diferentes imagens AR sejam exigidas para um usuário adulto e um usuário criança. Também, é preferível exibir uma imagem AR para um iniciante mais cedo do que para uma pessoa altamente habilitada.

B-6. Exibição do Local Relativo do Usuário

[00160] No sistema de exibição de imagem 100 de acordo com esta modalidade, um usuário pode observar uma imagem capturada com o capacete de realidade virtual 110 durante o movimento de um aparelho móvel 120 pela operação do controlador 130. O usuário pode apreciar o cenário de um local distante para o qual o aparelho móvel 120 se moveu, embora o usuário não tenha se movido.

[00161] Fazendo isto, o usuário pode reconhecer o local do tratamento de imagem pelo monitoramento da informação de local que é emitida a partir de da unidade de detecção de local/postura/velocidade 604 do aparelho móvel 120. Entretanto, mesmo se o usuário desejar ir para o local, ele não pode decidir instantaneamente para qual direção ir simplesmente olhando para uma imagem capturada.

[00162] Em vista disto, o capacete de realidade virtual 110 pode exibir uma imagem AR que indica o relacionamento posicional entre o usuário e o aparelho móvel 120 em uma imagem capturada enviada a partir do aparelho móvel 120. Como o capacete de realidade virtual 110 exibe a informação de local sobre o usuário, o usuário pode obter uma função de navegação, bem como apreciar FPV.

[00163] A imagem de exibição do relacionamento posicional pode ser gerada no capacete de realidade virtual 110 pela unidade de combinação de imagem 703 com base na informação de local sobre o usuário detectada pela unidade de detecção de local/postura 404 e na informação de local sobre o aparelho móvel 120 detectada pela unidade de detecção de local/postura/velocidade 604 do aparelho móvel 120.

[00164] Em um caso em que a informação de local sobre o usuário for exibida, por exemplo, a informação de local sobre o usuário pode ser exibida como uma pequena tela na tela que exibe uma imagem capturada pelo aparelho móvel 120, da forma mostrada na figura 17. A pequena tela mostra uma imagem de mapa, por exemplo, e respectivos ícones que indicam o local atual do aparelho móvel 120 e o local atual do usuário são mostrados na imagem. Alternativamente, dependendo de uma operação de usuário através da unidade de operação de entrada 402, a informação de local sobre o usuário pode ser exibida na tela grande, e uma imagem capturada pode ser exibida na pequena tela, da forma mostrada na figura 18.

[00165] Em um caso em que a informação de local sobre o usuário for exibida, norte fica localizado no lado superior, da forma mostrada nas figuras 17 e 18 (Norte Para Cima), o aparelho móvel 120 está se movendo para cima na exibição, da forma mostrada na figura 19, ou a linha de visão do usuário está na direção para cima na exibição, da forma mostrada na figura 20. A direção do movimento do aparelho móvel 120 pode ser detectada pela unidade de detecção de local/postura/velocidade 604. A direção da linha de visão do usuário pode ser detectada pela unidade de detecção de postura/local 404 ou pela unidade de detecção de estado 411.

[00166] Em cada um dos exemplos mostrados nas figuras 17 até 20, o usuário e o aparelho móvel 120 ficam localizados na tela do mapa, de forma que os respectivos locais absolutos possam ser exibidos. Entretanto, a tela do mapa pode não ser usada, e os locais relativos do usuário e do aparelho móvel 120 podem ser exibidos.

[00167] Em um caso em que o aparelho móvel 120 for um submarino ou congêneres que se deslocam sob a água, pode ser difícil receber sinais GPS. Portanto, informação de local absoluta pode ser adquirida por um dispositivo substituto, tal como comunicação acústica subaquática.

B-7. Rastreamento Automático de um Aparelho Móvel

[00168] Nas modalidades supradescritas, assim denominada FPV (imagem do ponto de vista de primeira pessoa) capturada por um aparelho móvel 120 é exibida no capacete de realidade virtual 110 e é apreciada. Alguns usuários desejam apreciar o cenário que inclui um aparelho móvel 120.

[00169] Em vista disto, um rastreador automático que rastreia a traseira (ou um lado) de um aparelho móvel 120 pode ser provido, e uma imagem capturada pelo rastreador automático pode ser exibida no capacete de realidade virtual 110.

[00170] A figura 21 mostra uma situação em que um rastreador automático 2100 equipado com uma câmera 2101 está rastreando a traseira do aparelho móvel 120-1 que voa no ar ou do aparelho móvel 120-2. A figura 22 mostra um exemplo de uma imagem do aparelho móvel 120-1 capturada por trás pela câmera 2101 do rastreador automático 2100.

[00171] O rastreador automático 2100 pode não voar, da forma mostrada na figura 21, e custos inferiores podem ser realizados pelo emprego de uma câmera secundária que captura imagens de um aparelho móvel 120 a partir de trás, da forma mostrada na figura 8C.

B-8. Comutação de Tela

[00172] Nas modalidades supradescritas, uma imagem do cenário de um local remoto capturada por um aparelho móvel 120 (ou uma imagem capturada pelo rastreador automático 2100) é exibida no capacete de realidade virtual 110 e é apreciada.

[00173] Neste particular, a câmera externa 413 é instalada quase no centro da superfície frontal da armação principal do capacete de realidade virtual 110 com uma forma tipo óculos ou uma forma tipo chapéu (veja a figura 2), e pode capturar imagens das cercanias. Também, o controle de postura nas direções de giro panorâmico, de inclinação e de rolagem da câmera externa 413 é realizado de acordo com a direção da linha de visão do usuário detectada pela unidade de detecção da informação de estado 411, de forma que uma imagem no nível da linha de visão do usuário possa ser capturada com a câmera externa 413.

[00174] Em vista disto, a tela do painel de exibição 409 pode ser comutada entre uma imagem capturada por um aparelho móvel 120 e uma imagem capturada pela câmera externa 413 de acordo com uma operação do usuário ou congêneres através da unidade de operação de entrada 402. A figura 23 mostra um exemplo de uma imagem da linha de visão do carro capturada pelo aparelho móvel 120-2 como um automóvel. A figura 24 mostra um exemplo de uma situação em que um usuário que usa o capacete de realidade virtual 110 segue o aparelho móvel em movimento 120-3 com seus olhos. A figura 25 mostra um exemplo de uma imagem da linha de autovisão do usuário que está seguindo o aparelho móvel 120-3 com seus olhos. A imagem da linha de autovisão é capturada pela câmera externa 413.

[00175] A unidade de câmera 605 montada em um aparelho móvel 120 é pelo menos uma câmera individual e, basicamente, realiza tratamento de imagem do ponto de vista de primeira pessoa do operador. Entretanto, a unidade de câmera 605 pode incluir câmeras adicionais que realizam tratamento de imagem a partir de outras posições de ponto de vista.

[00176] Por exemplo, o aparelho móvel 120-2 como um automóvel é equipado com câmeras que incluem uma câmera que captura uma imagem na linha de visão de um carro em frente na direção do deslocamento, uma câmera que captura imagens do cenário refletidas pelos espelhos laterais direito e esquerdo, uma câmera que captura uma imagem de cenário refletido pelo espelho retrovisor, e uma câmera que captura uma imagem de cenário refletido quando o usuário olhar para medidores e calibradores. Alternativamente, o aparelho móvel 120-2 pode ser equipado com uma única câmera, mas a plataforma de câmera 606 pode mover a posição do ponto de vista da câmera.

[00177] Neste caso, imagens capturadas pelas câmeras das respectivas posições de ponto de vista são arranjadas da forma mostrada na figura 26, por exemplo. No exemplo mostrado no desenho, uma imagem capturada na linha de visão do carro é colocada no centro, imagens capturadas nas linhas de visão dos espelhos laterais direito e esquerdo são colocadas na direita e na esquerda da imagem da linha de visão do carro, uma imagem na linha de visão do espelho retrovisor é colocada acima da imagem da linha de visão do carro, e uma captura de imagem na linha de visão de um olho que olha para os medidores e calibradores é colocada abaixo da imagem da linha de visão do carro. No lado do capacete de realidade virtual 110, o campo de exibição não é movido de acordo com o movimento da cabeça do usuário, mas a imagem exibida no painel de exibição 409 é comutada para a imagem da linha de visão do espelho lateral esquerdo quando a cabeça girar para a esquerda, é comutada para a imagem da linha de visão do espelho lateral direito quando a cabeça girar para a direita, é comutada para a imagem da linha de visão do espelho retrovisor quando a cabeça inclinar para cima, e é comutada para a imagem da linha de visão do medidor quando a cabeça inclinar para baixo. Quando a cabeça do usuário ficar novamente voltada para frente, a imagem exibida no painel de exibição 409 é retornada para a imagem da linha de visão do carro.

B-9. Correção de Imagem

[00178] Em um caso em que uma imagem grande angular capturada, tal como uma imagem de todo o céu, estiver sendo visualizada em um campo de exibição estreito, quando o usuário inclinar sua cabeça, a unidade de controle do campo de exibição 701 move o campo de exibição para cima ou para baixo de acordo com a inclinação, e a unidade de recorte de imagem 702 recorta uma imagem de exibição no campo de exibição movido (veja a figura 9). Quando o usuário inclinar sua cabeça para cima e mover o campo de exibição para cima, a distância do plano de projeção é maior na borda superior do campo de exibição. Portanto, a imagem de exibição tem uma forma trapezoidal com uma borda superior mais curta que a borda superior do quadro de exibição do painel de exibição 409. Igualmente, quando o usuário inclinar sua cabeça para baixo, a distância do plano de projeção é maior na borda inferior do campo de exibição. Portanto, a imagem de exibição tem uma forma trapezoidal com uma borda inferior mais curta que a borda inferior do quadro de exibição do painel de exibição 409 (veja a figura 27). Uma imagem trapezoidal ocasiona uma sensação de estranheza no usuário que está visualizando a imagem.

[00179] Em vista disto, a unidade de combinação de imagem 703 realiza correção da distorção trapezoidal, de forma que a imagem que é visualizada pelo usuário sempre tenha uma forma retangular.

B-10. Processo de Estabilização da Imagem

[00180] No caso do aparelho móvel 120-2 como um automóvel, por exemplo, uma imagem capturada pode tremer verticalmente ou horizontalmente devido à influência da superfície irregular da estrada na qual o aparelho móvel 120-2 está se movendo. No caso do aparelho móvel 120-1 como um objeto voador, tais como uma aeronave ou um helicóptero, uma imagem capturada pode tremer horizontalmente devido à influência de um jato de ar ou congêneres. No caso do aparelho móvel 120-3 como uma embarcação, tal como um iate, uma imagem capturada treme devido à influência de uma corrente ou ondas durante a navegação.

[00181] Quando uma pessoa estiver assistindo uma imagem que está tremendo, a pessoa sente como se ela estivesse tendo náuseas. No geral, tremor errático com ondas lentas e grande amplitude facilmente faz uma pessoa se sentir mal.

[00182] Quando houver tremor em uma imagem capturada por um aparelho móvel 120, a imagem pode ser exibida apenas depois que o tremor for cancelado no lado do capacete de realidade virtual 110.

[00183] Quando tremor errático com ondas lentas e grande amplitude for detectado pelo monitoramento do valor detectado pelo sensor de aceleração no lado do aparelho móvel 120, por exemplo, um processo de correção do tremor da imagem é iniciado no lado do capacete de realidade virtual 110.

[00184] Por exemplo, a unidade de controle do campo de exibição 701 insere o valor detectado pelo sensor de aceleração no lado do aparelho móvel 120, adiciona o valor detectado na informação de postura sobre a cabeça do usuário, determina a posição e a postura do campo de exibição para cancelar o tremor no aparelho móvel 120 e emite a posição e a postura para a unidade de recorte de imagem 702.

[00185] Alternativamente, a unidade de recorte de imagem 702 insere o valor detectado pelo sensor de aceleração no lado do aparelho móvel 120, corrige a posição e a postura do campo de exibição determinadas pela unidade de controle do campo de exibição 701 com base na informação de postura sobre a cabeça do usuário para cancelar o tremor no aparelho móvel 120 e recorta uma imagem no campo de exibição a partir de uma imagem capturada.

[00186] A unidade de combinação de imagem 703 ou congêneres pode realizar o processo de correção de tremor pela transformação de uma imagem em movimento em uma imagem em movimento lenta ou pela realização de redução de quadro. Em um caso em que uma imagem em movimento for transformada em uma imagem em movimento lenta, apenas as partes com movimento nos quadros podem ser transformadas em partes de imagem em movimento lenta.

[00187] No processo de correção de tremor, tremor pode ser impedido não pela realização do supradescrito processamento de imagem, mas pela redução do tamanho da tela apenas enquanto o tremor estiver sendo detectado no aparelho móvel 120, com atenção sendo dada ao fato de que uma pessoa facilmente se sente mal com uma tela grande. A unidade óptica da imagem virtual 410 forma uma imagem virtual ampliada de uma imagem exibida no painel de exibição 409, como exposto. A unidade óptica da imagem virtual 410 pode ajustar a ampliação, ou o painel de exibição 409 pode reduzir o tamanho da exibição.

[00188] O sistema óptico da unidade de câmera 605 certamente pode ser provido no lado do aparelho móvel 120 ou o processamento de imagem certamente pode ter uma função de correção de tremor.

C. Recapitulação

[00189] A tecnologia descrita nesta especificação pode ser incorporada nas estruturas descritas a seguir. (1) Um aparelho de exibição de imagem, que inclui: uma unidade de exibição montada na cabeça de um usuário; uma unidade de detecção de postura que detecta a postura da cabeça; e uma unidade de controle de exibição que controla a exibição de uma imagem na unidade de exibição com base na postura da cabeça, a imagem sendo capturada por um aparelho móvel. (2) O aparelho de exibição de imagem, de (1), em que a unidade de controle de exibição recorta uma região correspondente à postura da cabeça a partir de uma imagem grande angular capturada pelo aparelho móvel, e exibe a região recortada na unidade de exibição. (3) O aparelho de exibição de imagem, de (1), em que, durante a exibição de uma pluralidade de imagens de ponto de vista capturadas em uma pluralidade de pontos de vista por um método paralelo de foco profundo, a unidade de controle de exibição ajusta o ponto de convergência entre as imagens de ponto de vista com base na velocidade do movimento do objeto em movimento. (4) O aparelho de exibição de imagem, de (1), em que a unidade de controle de exibição exibe uma imagem com uma distância interpontos de vista correspondente a uma operação de aproximação na unidade de exibição. (5) O aparelho de exibição de imagem, de (1), em que a direção da linha de visão de uma unidade de câmera do aparelho móvel é deslocada em pelo menos uma das direções de giro panorâmico, de inclinação e de rolagem em relação à postura da cabeça. (6) O aparelho de exibição de imagem, de (1), que inclui adicionalmente uma unidade de realimentação de sensação operacional que realimenta uma sensação operacional para o usuário através de sensação tátil ou vibração, em que a realimentação para o usuário é com base na aceleração à qual o aparelho móvel é sujeito durante o movimento. (7) O aparelho de exibição de imagem, de (1), em que a unidade de controle de exibição sobrepõe uma imagem AR em uma imagem do mundo real capturada pelo aparelho móvel antes da exibição da imagem. (8) O aparelho de exibição de imagem, de (7), em que a unidade de controle de exibição exibe a imagem AR correspondente a pelo menos um do local atual do aparelho móvel, de um objeto incluído na imagem capturada e do estado do aparelho móvel. (9) O aparelho de exibição de imagem, de (1), em que a unidade de controle de exibição exibe informação de local sobre o aparelho móvel e o usuário. (10) O aparelho de exibição de imagem, de (1), em que a unidade de controle de exibição exibe adicionalmente uma imagem capturada por um rastreador automático que captura a imagem durante o rastreamento do aparelho móvel. (11) O aparelho de exibição de imagem, de (1), que inclui adicionalmente uma unidade de aquisição de imagem da linha de autovisão que adquire uma imagem da linha de autovisão a ser vista na linha de visão do usuário, em que a unidade de controle de exibição comuta a imagem que é exibida entre uma imagem da linha de visão do objeto em movimento capturada pelo aparelho móvel e a imagem da linha de autovisão. (12) O aparelho de exibição de imagem, de (1), em que a unidade de controle de exibição comuta a imagem que é exibida entre imagens capturadas a partir de uma pluralidade de posições de ponto de vista do aparelho móvel de acordo com a postura da cabeça. (13) O aparelho de exibição de imagem, de (1), em que a unidade de controle de exibição corrige o tremor em uma imagem em movimento capturada pelo aparelho móvel antes da exibição da imagem em movimento. (14) Método de exibição de imagem, que inclui: uma etapa de detecção de postura para detectar a postura da cabeça de um usuário; e uma etapa de controle de exibição para controlar a exibição de uma imagem com base na postura da cabeça, a imagem sendo capturada por um aparelho móvel. (15) Um sistema de exibição de imagem, que inclui: um aparelho móvel que captura uma imagem durante o movimento; e um aparelho de exibição de imagem que exibe a imagem capturada pelo aparelho móvel de acordo com a postura da cabeça de um usuário. (16) Um aparelho móvel, que inclui: uma unidade de câmera; uma plataforma de câmera que controla a direção da linha de visão da unidade de câmera; uma unidade de movimento que move o aparelho; e uma unidade de comunicação que comunica dados que incluem uma imagem capturada pela unidade de câmera, em que a unidade de câmera inclui uma pluralidade de câmeras que realizam tratamento de imagem por um método paralelo de foco profundo, as câmeras tendo diferentes pontos de vista. (17) O aparelho móvel, de (16), que captura uma imagem de todo o céu durante a mudança da distância interpontos de vista entre as câmeras com diferentes pontos de vista. (18) O aparelho móvel, de (16), que extrapola imagens fora dos pontos de vista das câmeras a partir das imagens capturadas pelas câmeras com diferentes pontos de vista em uma distância interpontos de vista fixa um em relação ao outro. (19) Um programa de computador gravado em um formato legível por computador, em que o programa de computador faz com que um computador funcione como: uma unidade de detecção de postura que detecta a postura da cabeça de um usuário; e uma unidade de controle de exibição que controla a exibição de uma imagem com base na postura da cabeça, a imagem sendo capturada por um aparelho móvel.

APLICABILIDADE INDUSTRIAL

[00190] A tecnologia descrita nesta especificação foi descrita com detalhes em relação a modalidades específicas. Entretanto, é óbvio que versados na técnica podem fazer modificações e substituições das modalidades sem fugir do escopo da tecnologia descrita nesta especificação.

[00191] Nesta especificação, modalidades nas quais a tecnologia descrita nesta especificação é aplicada em um sistema formado com um capacete de realidade virtual para ser montada na cabeça ou no rosto de um usuário e aparelhos móveis controlados por rádio foram descritas principalmente. Entretanto, o escopo da tecnologia descrita nesta especificação não é limitado à estrutura de um aparelho de exibição de imagem específico.

[00192] Por exemplo, a tecnologia descrita nesta especificação também pode ser aplicada em vários tipos de sistemas de exibição que exibem imagens grande angulares capturadas por câmeras montadas em vários tipos de aparelhos móveis remotamente controlados ou câmeras montadas em criaturas vivas remotamente guiadas, tais como pássaros, mamíferos, répteis, anfíbios, peixes, insetos, de acordo com a direção da linha de visão de um usuário.

[00193] Os aparelhos móveis são controlados por modelos de rádio de uma aeronave, um helicóptero, um automóvel, um iate e congêneres, mas podem ser aparelhos móveis reais, tais como uma aeronave, um helicóptero, um automóvel e um iate. Desde que as posturas (giro panorâmico, inclinação e rolagem) das câmeras montadas possam ser remotamente controladas, os aparelhos móveis podem não ser remotamente operados ou remotamente guiados. Os aparelhos móveis podem não ser objetos em movimento que são dispositivos mecânicos, mas podem ser objetos em movimento vivos, tais como seres humanos ou animais.

[00194] Em resumo, a tecnologia descrita nesta especificação foi descrita através de exemplos, e as descrições nestas especificações não devem ser interpretadas de uma maneira restritiva. As reivindicações devem ser consideradas no entendimento do assunto em questão da tecnologia descrita nesta especificação. LISTA DOS SINAIS DE REFERÊNCIA 100 Sistema de exibição de imagem 110 Capacete de realidade virtual 120 Aparelho móvel 130 Controlador 201, 202 Microfone 401 Unidade de controle 401A ROM 401B RAM 402 Unidade de operação de entrada 403 Unidade de recepção de controle remoto 404 Unidade de detecção de postura/local 405 Unidade de comunicação 406 Unidade de armazenamento 407 Unidade de processamento de imagem 408 Unidade de acionamento de exibição 409 Painel de exibição 410 Unidade óptica da imagem virtual 411 Unidade de detecção de estado 412 Unidade de realimentação de sensação operacional 413 Câmera externa 601 Unidade de controle 602 Unidade de armazenamento 603 Unidade do mecanismo de movimento 604 Unidade de detecção de local/postura/velocidade 605 Unidade de câmera 606 Plataforma de câmera 607 Unidade de comunicação 701 Unidade de controle do campo de exibição 702 Unidade de recorte de imagem 703 Unidade de combinação de imagem

Claims

1. Sistema de exibição de imagem, caracterizado pelo fato de que compreende: um aparelho móvel (120) configurado para capturar uma imagem durante o movimento; em que o aparelho móvel (120) compreende: uma unidade de câmera (605); uma plataforma de câmera (606) configurada para controlar uma direção de uma linha de visão da unidade de câmera; uma unidade de movimento (603) configurada para mover o aparelho; e uma unidade de detecção (604) configurada para adquirir informação sobre a velocidade de movimento do aparelho móvel; uma unidade de comunicação (607) configurada para comunicar dados incluindo uma imagem capturada pela unidade de câmera (605) e informação sobre a velocidade de movimento; em que unidade de câmera (605) inclui uma pluralidade de câmeras configuradas para realizar tratamento de imagem por um método paralelo de foco profundo, as câmeras tendo diferentes pontos de vista; e em que o sistema de exibição de imagem compreende um aparelho de exibição de imagem compreendendo: uma unidade de exibição (110) configurada para ser montada na cabeça de um usuário; uma unidade de detecção de postura (404) configurada para detectar a postura da cabeça; uma unidade de controle de exibição (401) configurada para controlar exibição de uma imagem na unidade de exibição (110) com base na postura da cabeça; e uma unidade de comunicação (405) configurada para receber dados incluindo a imagem e informação sobre a velocidade de movimento, para demodular e decodificar a imagem e suprir os dados da unidade de controle de exibição (401), em que a unidade de controle de exibição (401) é configurada para ajustar, com base na velocidade de movimento do movimento do aparelho móvel, um ponto de convergência entre uma pluralidade de imagens de pontos de vista capturadas em uma pluralidade de pontos de vista pelo método paralelo de foco profundo, quando a pluralidade de imagens de pontos de vista é exibida, de maneira que a velocidade do aparelho móvel se torna maior, a distância do ponto de convergência aumenta, em que o aparelho de exibição de imagem (100) ainda compreende uma unidade de realimentação de sensação operacional configurada para realimentar uma sensação operacional para o usuário por meio de sensação tátil ou vibração, em que a realimentação para o usuário é baseada em uma aceleração para a qual o aparelho móvel (120) é sujeito enquanto se move.

2. Sistema de exibição de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de controle de exibição (401) é configurada para recortar uma região correspondente à postura da cabeça a partir de uma imagem grande angular capturada pelo aparelho móvel (120) e exibe a região recortada na unidade de exibição (110).

3. Sistema de exibição de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de controle de exibição (401) é configurada para exibir uma imagem com uma distância interpontos de vista correspondente a uma operação de aproximação na unidade de exibição (110).

4. Sistema de exibição de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de controle de exibição (401) é configurada para sobrepor uma imagem de realidade aumentada em uma imagem do mundo real capturada pelo aparelho móvel (120) antes da exibição da imagem.

5. Sistema de exibição de imagem de acordo com a reivindicação 4, caracterizado pelo fato de que a unidade de controle de exibição (401) é configurada para exibir a imagem de realidade aumentada correspondente a pelo menos um de um local atual do aparelho móvel (120), de um objeto incluído na imagem capturada e de um estado do aparelho móvel (120).

6. Sistema de exibição de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de controle de exibição (401) exibe informação de local sobre o aparelho móvel (120) e o usuário.

7. Sistema de exibição de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de controle de exibição (401) é configurada para comutar a imagem que é exibida entre imagens capturadas a partir de uma pluralidade de posições de ponto de vista do aparelho móvel (120) de acordo com a postura da cabeça.

8. Sistema de exibição de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que uma direção de uma linha de visão de uma unidade de câmera (605) do aparelho móvel (120) é configurada para ser deslocada em pelo menos uma das direções de giro panorâmico, de inclinação e de rolagem em relação à postura da cabeça.

9. Sistema de exibição de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de controle de exibição (401) é configurada para exibir adicionalmente uma imagem capturada por um rastreador automático que captura a imagem durante o rastreamento do aparelho móvel (120).

10. Sistema de exibição de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que o aparelho de exibição de imagem (100) compreende adicionalmente uma unidade de aquisição de imagem da linha de autovisão configurada para adquirir uma imagem da linha de autovisão a ser vista em uma linha de visão do usuário, em que a unidade de controle de exibição (401) é configurada para comutar a imagem que é exibida entre uma imagem da linha de visão do objeto em movimento capturada pelo aparelho móvel (120) e a imagem da linha de autovisão.

11. Sistema de exibição de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que o aparelho móvel (120) é configurado para capturar uma imagem de todo o céu durante a mudança de uma distância interpontos de vista entre as câmeras com diferentes pontos de vista.

12. Método de exibição de imagem em um sistema de exibição de imagem como definido em qualquer uma das reivindicações 1 a 11, caracterizado pelo fato de que compreende: uma etapa de captura para capturar, por um aparelho móvel (120), uma imagem; e uma etapa de detecção para adquirir informação com relação à velocidade de movimento do aparelho móvel; uma etapa de comunicação para comunicar dados incluindo a imagem capturada pela unidade de câmera (605) e informação sobre a velocidade de movimento a partir do aparelho móvel para um aparelho de exibição de imagem; uma etapa de detecção de postura para detectar a postura de uma cabeça de um usuário; e uma etapa de controle de exibição para controlar, por um aparelho de exibição de imagem, a exibição de uma imagem com base na postura da cabeça, em que a etapa de controle de exibição compreende ainda ajustar um ponto de convergência entre imagens de pontos de vista com base na velocidade de movimento do movimento do aparelho móvel, quando exibindo uma pluralidade de imagens de ponto de vista capturadas a uma pluralidade de pontos de vista por um método paralelo de foco profundo, se maneira que enquanto a velocidade do aparelho móvel se torna maior, a distância do ponto de convergência aumenta, em que uma sensação operacional é realimentada para o usuário através de sensação tátil ou vibração, em que a realimentação para o usuário é baseada em uma aceleração para o qual o aparelho móvel (120) é sujeito enquanto se move.