BR112020001912A2

BR112020001912A2 - método para derivar uma correção de alinhamento entre uma tela do olho direito e uma tela do olho esquerdo e método para correção do alinhamento estereoscópico entre uma tela do olho direito e uma tela do olho esquerdo

Info

Publication number: BR112020001912A2
Application number: BR112020001912-7A
Authority: BR
Inventors: Yochay Danziger
Original assignee: Lumus Ltd.
Priority date: 2018-01-02
Filing date: 2019-01-02
Publication date: 2020-07-28
Also published as: IL275615B; AU2019205611A1; KR20200102408A; US20210099691A1; MX2020002402A; CN110915210B; JP2023081930A; EP3735775A4; CA3068659A1; RU2020100251A; EP3735775A1; WO2019135169A1; US11223820B2; TW201932914A; IL275615A; CN113777783A; CN110915210A; JP2021509482A; CN113777783B; TWI791728B

Abstract

Dispositivos binoculares de exibição de realidade aumentada e métodos correspondentes permitem que a calibração do alinhamento seja realizada pelo usuário final. De acordo com uma abordagem, uma câmera é posicionada para ter um campo de visão que inclui simultaneamente parte de uma imagem projetada no visor do olho esquerdo e parte de uma imagem projetada no visor do olho direito. Ao projetar através de cada tela pelo menos parte de uma imagem de calibração e identificar recursos de alinhamento de campo direito e esquerdo a partir da imagem amostrada pela câmera, uma correção de alinhamento pode ser obtida. As abordagens alternativas empregam correlações de imagens amostradas por câmeras prospectivas associadas rigidamente às respectivas unidades de exibição do olho direito e do olho esquerdo, ou exigem que o usuário insira um ajuste manual para alinhar as imagens da câmera trocadas transversalmente com o conteúdo visto no mundo real.

Description

“MÉTODO PARA DERIVAR UMA CORREÇÃO DE ALINHAMENTO ENTRE UMA TELA DO OLHO DIREITO E UMA TELA DO OLHO ESQUERDO E MÉTODO

PARA CORREÇÃO DO ALINHAMENTO ESTEREOSCÓPICO ENTRE UMA TELA DO OLHO DIREITO E UMA TELA DO OLHO ESQUERDO” Campo e Histórico da invenção

[0001] A presente invenção refere-se a telas de realidade aumentada e, em particular, refere-se a telas de realidade aumentada binoculares com disposições para ajustar o alinhamento das telas de olho esquerdo e direito de uma tela de realidade aumentada binocular e métodos de alinhamento correspondentes.

[0002] Os óculos de realidade aumentada devem ser alinhados com precisão, a fim de proporcionar uma experiência de observação binocular eficaz da imagem aumentada, e até um desalinhamento relativamente pequeno pode correr o risco de causar fadiga ocular ou dores de cabeça. As abordagens convencionais normalmente envolvem a montagem dos visores esquerdo e direito em uma estrutura de suporte comum mecanicamente rígida, ilustrada na FIG. 1A, para obter um alinhamento preliminar e uma posição relativa fixa das telas. O alinhamento fino final é alcançado por deslocamento eletrônico da imagem, como ilustrado esquematicamente na FIG. 1B, que mostra uma matriz geradora de imagens 30 (isto é, as extremidades físicas do campo de visão da tela) e uma imagem projetada transformada 32 de acordo com uma matriz de calibração, tipicamente programada no firmware associado a cada tela, para alcançar o alinhamento correto entre o exibe. As margens entre 30 e 32 são projetadas no sistema para acomodar qualquer transformação necessária para corrigir o desalinhamento dentro dos limites predefinidos.

[0003] Um exemplo de processo de alinhamento de acordo com esta abordagem é ilustrado aqui fazendo referência às FIGS. 1A-2. Os parâmetros de alinhamento eletrônico são gerados colocando os óculos na frente de duas câmeras alinhadas e comparando a orientação das imagens aumentadas geradas pelos dois projetores. Os dados de calibração derivados são introduzidos no firmware de transformação dos projetores de imagem. Como alternativa, o alinhamento mecânico do sistema óptico pode ter precisão dentro da precisão óptica necessária. O processo de alinhamento acima requer um banco de alinhamento óptico dedicado e é adequado apenas para implementação em uma instalação de produção.

[0004] É necessário implementar óculos de realidade aumentada em um formato leve e compacto para tornar a tecnologia mais adequada ao mercado consumidor. Implementações leves, no entanto, geralmente carecem de rigidez mecânica suficiente para garantir o alinhamento invariável das duas telas ao longo do tempo, estando sujeitas a variações devido a variações térmicas e outras influências mecânicas ou ambientais.

[0005] Além disso, a distância inter-pupilar (DIP, distância entre os olhos) pode variar em até 15 milímetros entre pessoas diferentes. Como resultado, se os dois projetores forem conectados rigidamente, cada uma das caixas oculares (ou seja, a área de iluminação de cada projetor onde se espera que a pupila esteja, mostrada como região 10 na FIG. 1A) deverá ser maior em 15/2=7,5mm para cada olho, a fim de acomodar todos os usuários possíveis com DIP dentro da margem definida. A caixa ocular maior exige uma óptica mais volumosa e mais cara. Se um mecanismo é fornecido para o ajuste da DIP, isso normalmente introduz incertezas adicionais no alinhamento entre os dois monitores, tornando qualquer correção de alinhamento pré-calibrada não confiável. Sumário da invenção

[0006] A presente invenção é uma tela de realidade aumentada binocular com uma disposição para ajustar o alinhamento das telas do olho esquerdo e do olho direito de uma tela de realidade aumentada binocular e um método de alinhamento correspondente.

[0007] De acordo com os ensinamentos de uma modalidade da presente invenção, dispõe-se de um método para derivar uma correção de alinhamento entre uma tela do olho direito e uma tela do olho esquerdo de um dispositivo de exibição de realidade aumentada binocular, com o método compreendendo as etapas de: (a) posicionar uma câmera com um campo de visão de modo que o campo de visão da câmera inclua simultaneamente parte de uma imagem projetada a partir da tela do olho esquerdo e parte de uma imagem projetada a partir da tela do olho direito; (b) projetar pelo menos parte de uma imagem de calibração através de cada uma das telas do olho direito e do olho esquerdo, incluindo ao menos um recurso de alinhamento do campo direito e ao menos um recurso de alinhamento do campo esquerdo; (c) empregar a câmera para amostrar uma imagem; (d) identificar na imagem o recurso de alinhamento do campo direito e o recurso de alinhamento do campo esquerdo; e (e) derivar de uma posição dentro da imagem do recurso de alinhamento do campo direito e do recurso de alinhamento do campo esquerdo uma correção de alinhamento entre a tela do olho direito e a tela do olho esquerdo do dispositivo de exibição de realidade aumentada.

[0008] De acordo com uma característica adicional de uma modalidade da presente invenção, a câmera está posicionada no lado de visualização do dispositivo de exibição de realidade aumentada, de modo que a imagem inclua o recurso de alinhamento do campo direito visualizado através do visor do olho direito e o recurso de alinhamento do campo esquerdo visualizado através do visor do olho esquerdo.

[0009] De acordo com uma característica adicional de uma modalidade da presente invenção, a imagem de calibração projetada é exibida com uma distância focal aparente e em que a câmera se foca na distância focal aparente.

[0010] De acordo com uma característica adicional de uma modalidade da presente invenção, a câmera está posicionada em um lado oposto ao lado de visualização do dispositivo de exibição de realidade aumentada, de modo que a câmera capture uma porção refletida para fora da iluminação da imagem da tela do olho direito e da tela do olho esquerdo, de modo que a imagem inclua o recurso de alinhamento do campo esquerdo visualizado através da tela do olho direito e o recurso de alinhamento do campo direito visualizado através da tela do olho esquerdo.

[0011] De acordo com uma característica adicional de uma modalidade da presente invenção, a câmera é uma câmera portátil, o método compreendendo ainda a exibição através da tela do olho direito e/ou da tela do olho esquerdo de ao menos uma indicação ao usuário para ajudar no posicionamento correto da câmera.

[0012] De acordo com uma característica adicional de uma modalidade da presente invenção: (a) características associadas ao dispositivo de exibição de realidade aumentada binocular suficiente para definir pelo menos três pontos fiduciais são identificadas na imagem; e (b) uma posição da câmera é determinada em relação aos pelo menos três pontos fiduciais.

[0013] De acordo com uma característica adicional de uma modalidade da presente invenção, o posicionamento inclui direcionar a câmera para um espelho, de modo que o campo de visão refletido inclua simultaneamente parte de uma imagem projetada a partir da tela do olho esquerdo e parte de uma imagem projetada a partir da tela do olho direito.

[0014] De acordo com uma característica adicional de uma modalidade da presente invenção, a câmera é uma câmera de um dispositivo móvel integrado a uma tela, o método compreendendo ainda a exibição através da tela de ao menos uma indicação ao usuário para ajudar no posicionamento correto da câmera.

[0015] De acordo com uma característica adicional de uma modalidade da presente invenção, uma correção de alinhamento para o dispositivo de exibição de realidade aumentada é implementada com base na correção de alinhamento derivada.

[0016] Também se dispõe, de acordo com os ensinamentos de uma modalidade da presente invenção, de um método para a correção do alinhamento estereoscópico entre uma tela do olho direito e uma tela do olho esquerdo de um dispositivo de exibição de realidade aumentada binocular, o método compreendendo as etapas de: (a) fornecer um dispositivo de realidade aumentada que compreende: (i) uma unidade de exibição do olho direito que compreende uma primeira tela de realidade aumentada rigidamente integrada com uma primeira câmera prospectiva, (ii) uma unidade de exibição do olho esquerdo que compreende uma segunda exibição de realidade aumentada rigidamente integrado com uma segunda câmera prospectiva e (iii) uma estrutura de suporte interconectada entre a unidade de exibição do olho direito e a unidade de exibição do olho esquerdo; (b) fornecer um primeiro mapeamento de alinhamento entre a primeira câmera e a primeira tela de realidade aumentada e um segundo mapeamento de alinhamento entre a segunda câmera e a segunda tela de realidade aumentada; (c) amostrar pelo menos uma imagem da primeira câmera; (d) amostrar pelo menos uma imagem da segunda câmera; (e) coprocessar as imagens da primeira e da segunda câmeras para derivar um mapeamento entre câmeras que seja indicativo de uma orientação relativa entre a primeira câmera e a segunda câmera; (f) combinar o mapeamento entre câmeras com o primeiro mapeamento de alinhamento e o segundo mapeamento de alinhamento para derivar um mapeamento de alinhamento entre telas que seja indicativo de uma orientação relativa da primeira tela de realidade aumentada e da segunda tela de realidade aumentada; e (g) implementar uma correção de alinhamento no dispositivo de exibição de realidade aumentada com base no mapeamento de alinhamento entre telas.

[0017] De acordo com uma característica adicional de uma modalidade da presente invenção, a imagem da primeira câmera e a da segunda câmera são amostradas para uma cena distante.

[0018] De acordo com uma característica adicional de uma modalidade da presente invenção, a imagem da primeira câmera e a da segunda câmera são múltiplas imagens, e o coprocessamento inclui derivar um modelo tridimensional de ao menos parte de uma cena incluído nas várias imagens.

[0019] Também fornece-se, de acordo com os ensinamentos de uma modalidade da presente invenção, um método para a correção do alinhamento estereoscópico entre uma tela de olho direito e uma tela de olho esquerdo de um dispositivo de exibição de realidade aumentada binocular, o método compreendendo as etapas de: (a) fornecer um dispositivo de realidade aumentada que compreenda uma tela de realidade aumentada do olho direito, uma tela de realidade aumentada do olho esquerdo, uma câmera direita espacialmente associada à tela de realidade aumentada do olho direito e uma câmera esquerda associada espacialmente à tela de realidade aumentada do olho esquerdo; (b) realizar um primeiro processo de registro cruzado que compreende: (i) obter pelo menos uma imagem de uma cena amostrada pela câmera direita, (ii) exibir através da tela de realidade aumentada do olho esquerdo pelo menos um recurso de alinhamento derivado de ao menos uma imagem amostrada pela câmera direita; (iii) receber uma entrada do usuário indicativa de um deslocamento de alinhamento entre ao menos um recurso de alinhamento e um recurso correspondente diretamente visualizado da cena; e (iv) corrigir uma posição de exibição de ao menos um recurso de alinhamento de acordo com a entrada do usuário até que ao menos um recurso de alinhamento esteja alinhado com o recurso correspondente diretamente visualizado da cena; (c) realizar um segundo processo de registro cruzado que compreende: (i) obter pelo menos uma imagem de uma cena amostrada pela câmera esquerda, (ii) exibir através da tela de realidade aumentada do olho direito ao menos um recurso de alinhamento derivado de ao menos uma imagem amostrada pela câmera esquerda; (iii) receber uma entrada do usuário indicativa de um deslocamento de alinhamento entre ao menos um recurso de alinhamento e um recurso correspondente diretamente visualizado da cena; e (iv) corrigir uma posição de exibição de ao menos um recurso de alinhamento de acordo com a entrada do usuário até que ao menos um recurso de alinhamento esteja alinhado com o recurso correspondente diretamente visualizado da cena; e (d) implementar uma correção de alinhamento no dispositivo de exibição de realidade aumentada com base nas entradas do usuário.

[0020] De acordo com uma característica adicional de uma modalidade da presente invenção, pelo menos um recurso de alinhamento para cada um dos processos de registro cruzado é ao menos parte da imagem amostrada.

[0021] De acordo com uma característica adicional de uma modalidade da presente invenção, o recurso de alinhamento para cada um dos processos de registro cruzado é um marcador de local correspondente a um recurso detectado na imagem amostrada.

[0022] De acordo com uma característica adicional de uma modalidade da presente invenção, obtém-se uma distância estimada para um objeto na imagem amostrada, sendo a distância estimada empregada para implementar a correção do alinhamento.

[0023] De acordo com uma característica adicional de uma modalidade da presente invenção, a câmera direita é montada rigidamente em relação à tela de realidade aumentada do olho direito, e a câmera esquerda é montada rigidamente em relação à tela do olho esquerdo, com a correção de alinhamento sendo implementada usando dados de alinhamento relativo para a câmera direita em relação à tela de realidade aumentada do olho direito e dados de alinhamento relativo para a câmera esquerda em relação à tela de realidade aumentada do olho esquerdo.

[0024] De acordo com uma característica adicional de uma modalidade da presente invenção, pelo menos um processo de registro adicional é realizado para receber entradas do usuário para corrigir um alinhamento de ao menos uma entre a tela de realidade aumentada do olho direito e a tela de realidade aumentada do olho esquerdo em relação à câmera correspondente entre a câmera direita e a câmera esquerda. Breve descrição dos desenhos

[0025] A invenção é aqui descrita, apenas a título de exemplo, com referência aos desenhos anexos, em que:

[0026] FIG. 1A, descrita acima, é uma vista superior de uma tela de realidade aumentada binocular de acordo com a técnica anterior;

[0027] FIG. 1B é uma representação esquemática que explica um princípio de correção de alinhamento eletrônico para telas de realidade aumentada;

[0028] FIG. 2 é um fluxograma que ilustra um processo de ajuste de fábrica para calibrar uma tela de realidade aumentada de acordo com a técnica anterior;

[0029] FIG. 3 é uma vista frontal esquemática de uma tela de realidade aumentada binocular com uma disposição para ajustar a DIP, construída e operada de acordo com uma modalidade da presente invenção;

[0030] FIG. 4 é uma vista lateral esquemática da tela da FIG. 3 em uso;

[0031] FIG. 5 é uma vista lateral esquemática do dispositivo da FIG. 4 durante um procedimento de calibração parcial de fábrica de acordo com uma primeira opção de implementação;

[0032] FIG. 6 é uma vista lateral esquemática do dispositivo da FIG. 4 durante um procedimento de calibração parcial de fábrica de acordo com uma segunda opção de implementação;

[0033] FIG. 7 é uma representação esquemática de um processo de calibração incluindo a amostragem de uma pluralidade de imagens de um objeto ou cena de diferentes direções;

[0034] FIG. 8 é um fluxograma que ilustra um método para calibração de alinhamento para a tela de realidade aumentada das FIGS. 3 e 4 de acordo com um aspecto da presente invenção;

[0035] As figs. 9A e 9B são vistas esquemáticas lateral e frontal, respectivamente, de um dispositivo de exibição de realidade aumentada que emprega uma técnica alternativa para calibração de alinhamento;

[0036] FIG. 9C é uma representação esquemática de um ajuste de alinhamento realizado por um usuário de acordo com este aspecto da presente invenção;

[0037] FIG. 10A é uma vista lateral esquemática de um dispositivo de exibição de realidade aumentada durante a implementação de uma calibração de alinhamento de acordo com um aspecto adicional da presente invenção;

[0038] FIG. 10B é uma vista lateral esquemática ampliada, mostrando duas possíveis geometrias de elementos ópticos que orientam a luz para fornecer uma imagem de realidade aumentada aos olhos de um usuário;

[0039] FIG. 11A é uma vista esquemática superior da disposição da FIG. 10A;

[0040] FIG. 11B é uma vista superior esquemática de uma implementação variante da disposição da FIG. 10A;

[0041] FIG. 11C é uma representação esquemática de um dispositivo de comunicação móvel empregado como uma câmera para a calibração de alinhamento da FIG. 10A;

[0042] FIG. 11D é uma representação esquemática de uma imagem de calibração para exibição através da exibição de realidade aumentada durante a realização de uma calibração de alinhamento de acordo com este aspecto da presente invenção;

[0043] FIG. 11E é uma representação esquemática de uma imagem amostrada por uma câmera durante a realização de uma calibração de alinhamento de acordo com este aspecto da presente invenção;

[0044] FIG. 11F é uma vista superior esquemática de uma implementação variante adicional da disposição da FIG. 10A; e

[0045] FIG. 12 é um diagrama de fluxo que ilustra um método para calibração de alinhamento de acordo com as disposições das FIGS. 10A, 11A, 11B e 11F. Descrição das modalidades preferidas

[0045] A presente invenção é uma tela de realidade aumentada binocular com uma disposição para ajustar o alinhamento das telas do olho esquerdo e do olho direito de uma tela de realidade aumentada binocular e métodos de alinhamento correspondentes.

[0046] Os princípios e operação de dispositivos e métodos de acordo com a presente invenção podem ser melhor compreendidos fazendo referência aos desenhos e à descrição anexa.

[0047] A título de introdução, a presente invenção trata de uma série de situações nas quais o alinhamento pré-

calibrado entre uma tela e olho direito e uma tela de olho esquerdo de uma tela de realidade aumentada binocular não existe ou não pode ser considerado confiável. Isso pode ser devido ao uso de componentes estruturais leves que não podem garantir o alinhamento rígido invariável dos componentes por um longo período de tempo e/ou sob condições ambientais variáveis, ou pode ser devido à presença de um mecanismo de ajuste, particularmente um mecanismo de ajuste de DIP, o que pode resultar em um alinhamento final impreciso das telas. A presença de um mecanismo de ajuste de DIP é particularmente preferida, permitindo assim que um dispositivo de exibição de realidade aumentada acomode usuários com diferentes distâncias interpupilares, reduzindo os requisitos para o tamanho da caixa dos olhos do projetor e consequente o volume, a complexidade e o custo do projetor. No entanto, um mecanismo de ajuste de DIP normalmente introduz variabilidade no alinhamento dos dois projetores de tela.

[0048] Para resolver esses problemas, a presente invenção fornece três grupos de soluções que permitem a calibração, ou recalibração, do alinhamento das telas dos olhos direito e esquerdo de um dispositivo binocular de realidade aumentada no ambiente de trabalho normal do usuário final e sem a necessidade de qualquer equipamento especializado. Especificamente, um primeiro subconjunto de técnicas de correção de alinhamento é implementado como um processo de alinhamento automatizado ou semi-automatizado, com base na correlação de imagens amostradas por câmeras bilaterais associadas às respectivas telas esquerda e direita. Um segundo subconjunto de técnicas de correção de alinhamento, também utilizando câmeras montadas no dispositivo, requer entradas do usuário para alinhar os recursos exibidos com os correspondentes recursos do mundo real. Finalmente, um terceiro subconjunto de técnicas de correção de alinhamento é aplicável sem depender de câmeras montadas no dispositivo, e sim de uma câmera externa. Cada um desses subconjuntos de técnicas também corresponde preferencialmente a uma implementação distinta de um dispositivo de realidade aumentada binocular com componentes de controle configurados para implementar as técnicas correspondentes. Cada abordagem será agora descrita em detalhe.

[0049] Com referência agora aos desenhos, as FIGs. 3-8 ilustram vários aspectos de um dispositivo de exibição de realidade aumentada binocular, um processo inicial de alinhamento parcial e um método correspondente para correção do alinhamento estereoscópico entre uma tela de olho direito e uma tela de olho esquerdo de um dispositivo de exibição de realidade aumentada binocular, tudo de acordo com a uma primeira abordagem de um aspecto da presente invenção. De acordo com essa abordagem, cada uma das duas telas (“projetores”) é fixada rigidamente a uma câmera prospectiva. Uma ponte de estrutura de suporte entre os projetores oculares é relativamente menos rígida e/ou pode ser modificada e travada pelo usuário de acordo com sua DIP pessoal. As imagens de uma cena recebida pelas câmeras são comparadas e uma matriz de transformação é derivada para os projetores.

[0050] Assim, em termos gerais, dispõe-se de um dispositivo de realidade aumentada que inclui uma unidade de exibição do olho direito com uma primeira tela de realidade aumentada rigidamente integrada com uma primeira câmera de visão prospectiva e uma unidade de exibição do olho esquerdo com uma segunda tela de realidade aumentada rigidamente integrado com uma segunda câmera prospectiva. O dispositivo de realidade aumentada também inclui uma estrutura de suporte interconectada entre a unidade de exibição do olho direito e a unidade de exibição do olho esquerdo. De acordo com um aspecto preferido dessa abordagem, cada unidade de exibição é rígida, de modo que cada câmera esteja em alinhamento fixo com a tela de realidade aumentada correspondente, e o sistema seja fornecido com um mapeamento de alinhamento entre cada câmera e a tela de realidade aumentada correspondente, normalmente na forma de uma matriz de transformação que mapeia o alinhamento da câmera com a tela, ou seja, que permitiria a exibição da imagem da câmera alinhada corretamente com o mundo real para uma cena distante vista através da tela de realidade aumentada. A estrutura de suporte, por outro lado, não é necessariamente considerada suficientemente rígida para fornecer alinhamento invariável entre as unidades de exibição do olho esquerdo e do olho direito durante um período de tempo e, em certas implementações particularmente preferidas, inclui um mecanismo de ajuste, permitindo ajuste da DIP para diferentes usuários, o que normalmente resulta em alguma variação do alinhamento angular durante o ajuste.

[0051] Uma correção de alinhamento é então preferencialmente realizada por um sistema de processamento associado ao dispositivo de exibição de realidade aumentada, que pode ser um sistema de processamento embarcado ou um sistema de processamento associado ao dispositivo por meio de uma conexão de comunicação de curto ou longo alcance. Aqui e em qualquer outra parte desta aplicação, o processamento descrito pode ser realizado por componentes de processamento padrão, que podem ser hardware de uso geral configurado por software adequado, ou ASICs ou outro hardware dedicado ou semidedicado, conforme escolhido por uma pessoa regularmente qualificada na técnica de acordo com o que for mais adequado às funções aqui descritas. Além disso, o processamento pode ser realizado em qualquer local ou combinação de locais, incluindo, entre outros, um ou mais processadores integrados que fazem parte do dispositivo de exibição de realidade aumentada, um dispositivo de comunicações móveis em conexão com ou sem fio com o dispositivo de exibição de AR (realidade aumentada), um servidor localizado em um local remoto e conectado ao dispositivo de exibição de AR por meio de uma rede WAN e uma máquina virtual de computação em nuvem composta por recursos de computação alocados dinamicamente. Os detalhes das implementações do sistema de processamento não são necessários para uma implementação da presente invenção e, portanto, não serão descritos aqui em mais detalhes.

[0052] O processo de correção de alinhamento, de acordo com um aspecto da presente invenção, inclui preferencialmente: i. amostragem de ao menos uma imagem da primeira câmera; ii. amostragem de ao menos uma imagem da segunda câmera; iii. coprocessamento das imagens da primeira e da segunda câmera para derivar um mapeamento entre câmeras que seja indicativo de uma orientação relativa entre a primeira câmera e a segunda câmera; iv. combinar o mapeamento entre câmeras com o primeiro mapeamento de alinhamento e o segundo mapeamento de alinhamento para derivar um mapeamento de alinhamento entre telas que seja indicativo de uma orientação relativa da primeira tela de realidade aumentada e da segunda tela de realidade aumentada; e v. implementar uma correção de alinhamento no dispositivo de exibição de realidade aumentada com base no mapeamento de alinhamento entre telas.

[0053] Esse processo será discutido em maior detalhe abaixo.

[0054] A Figura 3 representa esquematicamente uma vista frontal do sistema de acordo com esta invenção. Os conjuntos ópticos 40R e 40L projetam a imagem nos elementos ópticos transparentes correspondentes 42R e 42L, de preferência implementados como elementos ópticos de orientação de luz transparentes com refletores parciais ou elementos ópticos difrativos para transmitir uma imagem virtual aos olhos direito e esquerdo do observador, respectivamente. As câmeras prospectivas 44R e 44L são fixadas rigidamente aos seus projetores adjacentes, enquanto uma estrutura de suporte 46, preferencialmente implementada como um arranjo mecânico ajustável, conecta os dois projetores. Esse arranjo mecânico pode, de preferência, ser destravado para alterar a distância entre os projetores e depois travado novamente antes do uso. Isso permite o ajuste de DIP e, portanto, a redução do tamanho e da complexidade do projetor. Entende-se que paralelismo e a orientação precisos normalmente não podem ser mantidos após o destravamento e travamento do arranjo 46.

[0055] FIG. 4 mostra uma representação esquemática da vista lateral do projetor e da câmera da esquerda. A luz da óptica 40L passa através do guia de ondas 42L e é desviada em direção ao olho (o método de deflexão não está sendo descrito, mas costuma ser baseado em um substrato com facetas parcialmente refletivas oblíquas internas, disponíveis comercialmente com a Lumus Ltd., ou em um arranjo de elementos ópticos difrativos). O objeto 50 ou o cenário são fotografados pela câmera 44L. O mesmo objeto é fotografado pela câmera direita 44R.

[0056] O processo de correção do alinhamento de acordo com este aspecto da invenção requer a determinação de um mapeamento de alinhamento entre cada câmera e a tela de realidade aumentada correspondente para cada uma das unidades de exibição do olho direito e do olho esquerdo. Os parâmetros de transformação entre o eixo da câmera e o eixo do projetor são de preferência medidos após a integração câmera-projetor, de preferência como parte do processo de fabricação. Várias técnicas podem ser usadas para determinar o mapeamento do alinhamento. Duas opções serão agora descritas fazendo referência às FIGs. 5 e 6.

[0057] Na FIG. 5, um gabarito externo 52 mantém firmemente alinhados um projetor 54 e uma câmera 56. O projetor e a câmera são preferencialmente alinhados com seus eixos ópticos paralelos um ao outro e, mais preferencialmente, com precisão suficiente, de modo que nenhum parâmetro de transformação seja necessário entre os dois. O projetor 54 projeta uma 'imagem de referência' que é recebida pela câmera 44L. Um sistema de processamento injeta uma imagem centralizada semelhante no projetor 40L, que gera uma imagem projetada que é recebida através do elemento óptico 42L pela câmera 56. O sistema de processamento compara as imagens de 44L e 56 para definir os parâmetros de transformação entre 40L e 44L. A distância entre 44L e 42L (especificamente, o centro da caixa de olhos deste guia de ondas) também é preferencialmente registrada para cálculos de paralaxe, se necessário.

[0058] Na FIG. 6, dois projetores 54U e 54D são fixados rigidamente (ou alternativamente podem ser implementados como um único projetor com uma abertura suficientemente grande) e projetam uma imagem de calibração, tipicamente colimada até o infinito. A imagem de 54U é recebida pela câmera 44L e é "injetada" no projetor 40L. Neste caso, a câmera 56 recebe simultaneamente através do elemento óptico 42L uma sobreposição da imagem diretamente vista projetada por 54D e a imagem projetada pelo projetor 40L. As diferenças entre as duas imagens correspondem aos dados de transformação entre o projetor 40L e a câmera 44L. Mais preferencialmente, um processo de alinhamento automatizado pode ajustar o alinhamento da imagem gerada pelo projetor 40L até que uma imagem nítida (sobreposta com precisão) seja recebida pela câmera 56, embora um processo de ajuste controlado manualmente usando uma interface gráfica de usuário adequada (não mostrada) também seja possível. Na verdade, esse ajuste não precisa ser implementado no firmware do dispositivo, pois o alinhamento final também dependerá do alinhamento binocular. Para facilitar o alinhamento manual ou automatizado, a imagem de alinhamento pode ser uma mira X ou semelhante, e para maior clareza de diferenciação durante o processo de alinhamento, a cor da imagem de 40L pode ser alterada ou a imagem pode piscar. As duas miras X visualmente distintas precisam ser alinhadas.

[0059] Se a óptica no projetor 42L gerar a imagem virtual a uma distância finita, é preferível que as imagens de calibração e conversão de 54U e 54D também sejam definidas para essa distância, e a imagem projetada do projetor 40L seja deslocada quando injetada em 42L de acordo com a paralaxe entre a câmera 44L e o projetor 42L, já que os parâmetros de distância são conhecidos.

[0060] Os processos de alinhamento acima, ilustrados para a unidade de exibição do olho esquerdo, são claramente repetidos (ou executados simultaneamente) para a unidade de exibição do olho direito. O resultado é uma matriz de transformação bem definida que mapeia o alinhamento da câmera para a tela de cada uma das unidades de tela.

[0061] Depois de usar uma das técnicas de alinhamento acima, durante ou após a fabricação, para derivar a transformação de alinhamento entre cada projetor e sua câmera correspondente, as câmeras podem ser usadas em um processo de calibração realizado pelo usuário final para medir e corrigir o desalinhamento entre os dois projetores sempre que for necessário, por exemplo, após o ajuste da DIP, ou como um processo automatizado de auto-calibração executado de forma intermitente ou, em certas aplicações preferidas, sempre que o dispositivo for ligado.

[0062] A resolução da orientação relativa das câmeras 44L e 44R (após o ajuste de DIP, como descrito na FIG. 3) é particularmente direta quando as câmeras estão amostrando imagens de uma cena distante, uma vez que a paralaxe entre as duas imagens amostradas é desprezível. “Distante” neste contexto seria idealmente qualquer distância acima de 100 metros, o que garante que as variações angulares devido à convergência entre os olhos/câmeras sejam menores que a resolução angular da percepção visual humana. Em termos práticos, no entanto, “distante” aqui pode incluir qualquer distância maior do que 30 metros e, em alguns casos, distâncias de 10 ou 20 metros também podem permitir o uso desse processo simplificado de calibração com resultados aceitáveis. Assim, em um caso de calibração acionada pelo usuário, o usuário pode ser instruído a direcionar o dispositivo para uma cena distante antes de iniciar o processo de calibração. Da mesma forma, quando o dispositivo é usado em um ambiente externo, o dispositivo pode ser configurado para detectar, por meio de um sensor de alcance ou por processamento de imagem, quando as câmeras estão visualizando uma cena distante. A calibração pode então ser formada amostrando imagens da cena distante de cada câmera 44L e 44R e realizando a comparação/registro de imagens entre as duas imagens para determinar uma transformação entre as câmeras.

[0063] Às vezes, o registro direto da imagem pode ser usado para a correção do alinhamento, mesmo quando a cena está a uma curta distância, desde que haja pouca “profundidade” na cena e ambas as câmeras captem a mesma imagem. Um exemplo seria a calibração ao criar uma imagem de uma superfície plana, como um pôster ou outra imagem ou textura na parede. Nesse caso, são necessárias informações sobre a distância entre as câmeras e a superfície, a fim de corrigir o ângulo de convergência.

[0064] Para permitir a calibração em uma variedade de situações em que ‘cenários distantes” podem não estar disponíveis ou para um processo de calibração mais robusto adequado para ser executado automaticamente sem a cooperação do usuário, a calibração também pode ser realizada usando objetos próximos, para os quais a paralaxe entre as câmeras é significativa. Nesse caso, é necessária uma reconstrução 3D para “resolver” as posições relativas das câmeras. Pode ser necessário o movimento das câmeras para gerar várias imagens para soluções precisas, como ilustrado esquematicamente na FIG. 7. Os algoritmos para esse cálculo são bem conhecidos, por exemplo, na literatura e nas bibliotecas de código-fonte aberto relacionadas ao processamento SLAM (localização e mapeamento simultâneos). Ao empregar esses algoritmos, uma reconstrução 3D (ou “modelo”) de ao menos parte da cena é gerada para cada câmera. O deslocamento da reconstrução entre as câmeras é usado para determinar o deslocamento (espacial e orientação) entre os projetores.

[0065] Quando o processamento SLAM é usado para derivar um modelo, é necessário um fator de escala para resolver completamente o modelo. Esse fator de escala pode ser derivado de várias fontes, incluindo, entre outras: uma distância conhecida entre as duas câmeras no caso de um dispositivo sem ajuste de DIP; uma distância medida entre as duas câmeras, onde um codificador está incluído no mecanismo de ajuste de DIP; movimento da câmera como derivado de um arranjo de sensor de movimento inercial integrado ao dispositivo; uma distância a uma localização de pixel dentro de uma das imagens derivada, por exemplo, de um telêmetro integrado ao dispositivo; identificação de um objeto de dimensões conhecidas incluído no campo de visão das imagens; e introdução de restrições adicionais de parâmetros, como,

por exemplo, objetos que possuem bordas retas ou similares.

[0066] Uma visão geral exemplar do processo geral total em um caso de ajuste de DIP e realinhamento subsequente é mostrada na FIG. 8. Primeiro, presume-se que o processo aqui seja iniciado após um ajuste da distância entre os projetores, como por um ajuste de DIP (etapa 110), e pode ser iniciado pelo usuário ou disparado automaticamente. O processo também pode ser implementado como um processo automático ou semi-automatizado, realizado na inicialização do dispositivo ou acionado manualmente ou por um sinal de acionamento de software, opcionalmente com avisos gerados para solicitar que o usuário se mova em relação à cena visualizada.

[0067] Uma vez acionado, o dispositivo adquire imagens da cena para a câmera esquerda (etapa 112) e para a câmera direita (etapa 114), e o sistema de processamento (embarcado no dispositivo, local ou remoto) compara as imagens para derivar as orientações relativas das duas câmeras (etapa 116). Nos casos em que o processo de registro simples falha devido a variações de paralaxe entre as imagens, o sistema coleta amostras de imagens adicionais e aguarda movimento, se necessário (etapa 118) para derivar um modelo tridimensional ao menos parcial de parte de um campo de visão, permitindo assim a derivação das orientações relativas da câmera. Na etapa 120, esses dados relativos à orientação da câmera são usados em conjunto com os dados anteriormente derivados de transformação da câmera esquerda para o projetor esquerdo (122) e os dados de transformação da câmera direita para o projetor direito (124) para determinar uma correção de alinhamento geral para cada projetor que é introduzido no firmware correspondente (etapas 126 e 128), permitindo assim que uma imagem virtual esquerda seja convertida em uma imagem virtual transformada esquerda para projeção pelo projetor 40L e uma imagem virtual direita seja convertida em uma imagem virtual transformada direita para projeção pelo projetor 40R, para gerar imagens visualizadas alinhadas corretamente.

[0068] Voltando agora a um segundo subconjunto de métodos de correção de alinhamento para as telas do olho direito e do olho esquerdo de um dispositivo de exibição de realidade aumentada binocular, as FIGs. 9A e 9B ilustram esquematicamente uma disposição na qual um usuário fornece uma entrada para definir pelo menos parte da correção de alinhamento. Assim, na FIG. 9A, é mostrado um dispositivo óptico semelhante ao das FIGs. 3 e 4, mas com a adição de um dispositivo de entrada do usuário 130, que pode ser um joystick, uma tela sensível ao toque ou qualquer outro dispositivo adequado de entrada do usuário, opcionalmente implementado como um APP em execução em um dispositivo eletrônico móvel. Como antes, essa abordagem pressupõe a presença de uma câmera esquerda 44L associada espacialmente ao monitor de realidade aumentada do olho esquerdo (projetor 40L e elemento óptico de acoplamento externo 42L) e elementos correspondentes (uma câmera direita associada espacialmente à tela de realidade aumentada do olho direito) para o lado do olho direito do dispositivo (não mostrado).

[0069] É uma característica particular de certas implementações particularmente preferidas de acordo com este aspecto da presente invenção que o método de correção de alinhamento inclua um primeiro processo de registro cruzado incluindo:

i. obter pelo menos uma imagem de uma cena amostrada pela câmera direita, ii. exibir, pela tela de realidade aumentada do olho esquerdo, pelo menos um recurso de alinhamento derivado de ao menos uma imagem amostrada pela câmera direita, iii. receber uma entrada do usuário indicativa de um deslocamento de alinhamento entre ao menos um recurso de alinhamento e um recurso correspondente diretamente visualizado da cena, e iv. corrigir uma posição de exibição do pelo menos um recurso de alinhamento de acordo com a entrada do usuário até que ao menos um recurso de alinhamento esteja alinhado com o correspondente recurso visualizado diretamente da cena. Isto define uma transformação representada esquematicamente pela seta 78 na FIG. 9B.

[0070] De preferência, o processo de alinhamento também inclui o processo de registro cruzado invertido: i. obter pelo menos uma imagem de uma cena amostrada pela câmera esquerda, ii. exibir, pela tela de realidade aumentada do olho direito, pelo menos um recurso de alinhamento derivado de ao menos uma imagem amostrada pela câmera esquerda, iii. receber uma entrada do usuário indicativa de um deslocamento de alinhamento entre ao menos um recurso de alinhamento e um recurso correspondente diretamente visualizado da cena, e iv. corrigir uma posição de exibição do pelo menos um recurso de alinhamento de acordo com a entrada do usuário até que ao menos um recurso de alinhamento esteja alinhado com o correspondente recurso visualizado diretamente da cena. Isto define uma transformação representada esquematicamente pela seta 76 na FIG. 9B.

[0071] As entradas do usuário são então usadas para implementar uma correção de alinhamento no dispositivo de exibição de realidade aumentada. Quando cada câmera é montada rigidamente em relação à tela de realidade aumentada correspondente, como nos exemplos descritos acima, a correção do alinhamento é implementada usando dados de alinhamento relativos da câmera direita em relação à tela de realidade aumentada do olho direito (seta 74) e os dados de alinhamento relativo da câmera esquerda em relação à tela de realidade aumentada do olho esquerdo (seta 72). Tais dados podem ser disponibilizados através de um processo de alinhamento de fábrica, como foi descrito acima com referência às FIGs. 5 e

6.

[0072] De modo mais geral, quando as transformações 72 e 74 são desconhecidas ou podem variar devido à montagem não rígida (por exemplo, ajustável) das telas esquerda/direita em relação às câmeras, as transformações 72 e 74 podem ser obtidas por ao menos um processo de registro adicional para receber entradas do usuário para corrigir um alinhamento de ao menos uma entre a tela de realidade aumentada do olho direito e a tela de realidade aumentada do olho esquerdo em relação às correspondentes câmeras direita e esquerda. Esses processos de registro podem ser realizados essencialmente da mesma maneira que os processos de registro cruzado aqui descritos.

[0073] Se todas as quatro transformações 72, 74, 76 e 78 forem determinadas, há alguma redundância de informações, uma vez que, em princípio, quaisquer três dessas transformações são suficientes para determinar uma matriz de calibração geral entre as duas telas. Na prática, essa redundância é usada com vantagem para melhorar a precisão da correção do alinhamento.

[0074] Durante o processo de alinhamento, cada projetor é ativado separadamente. Uma sequência típica de operação de acordo com essa abordagem seria: 1) O usuário é instruído a observar objetos de cenário localizados na mesma distância nominal (distância aparente) da imagem virtual. O processo é mais simplesmente implementado usando objetos “distantes”, para evitar problemas de compensação de paralaxe, embora os problemas de paralaxe também possam ser corrigidos, conforme discutido abaixo. 2) O sistema de processamento injeta a imagem da câmera de um olho no projetor adjacente, para que o observador veja a mesma sobreposição aumentada e do ‘mundo real’. Se a cena não for uma cena “distante”, a compensação de paralaxe é introduzida na imagem projetada, de acordo com uma distância estimada para a cena. Haverá uma incompatibilidade de deslocamento (compensação) 57 (FIG. 9C) se os eixos da câmera e do projetor (após a compensação de paralaxe) não forem precisos. 3) O observador controla manualmente a posição e a rotação da imagem virtual e move a imagem de realidade aumentada para se sobrepor à imagem do ‘mundo real’ 57 (mapeamento 72). 4) Esse processo é repetido para o segundo olho de modo a gerar o mapeamento 74. Até agora, a calibração alcançada ocorre entre cada câmera e seu projetor adjacente. 5) O sistema de processamento injeta a imagem da câmera de um olho (44L) no projetor oposto (40R) e permite ao usuário alinhar a imagem, para determinar o mapeamento 76. O mesmo é repetido para a câmera e o projetor opostos gerarem o mapeamento 78. Agora, os dois projetores e as orientações de ambas as câmeras estão calibrados.

[0075] A imagem (recurso de alinhamento) projetada para este processo de alinhamento pode ser pelo menos parte da imagem amostrada. Nesse caso, o usuário obtém um efeito de “visão dupla” de imagens sobrepostas que não se encaixam perfeitamente e ajusta o alinhamento até que sejam adequadamente sobrepostas.

[0076] Alternativamente, a imagem de recurso de alinhamento projetada pode incluir um ou mais marcadores de localização derivados das imagens amostradas pelo processamento de imagens e correspondentes a um recurso detectado na imagem amostrada. Pode ser o contorno de um objeto ou vários marcadores que designam recursos de “canto” na imagem. Nesse caso, o usuário alinha esses marcadores de localização com as características correspondentes na visualização do mundo real.

[0077] Quando o processo acima for realizado usando uma cena que não é distante, será necessária uma estimativa da distância até a cena para realizar correções de paralaxe com base em uma distância conhecida entre cada câmera e o centro EMB correspondente. Essa distância pode ser inserida pelo usuário ou derivada pelo sistema a partir de qualquer combinação de sensores disponíveis e/ou processamento de imagens, dependendo dos detalhes da aplicação, como é conhecido na técnica. Exemplos não limitativos de como a distância pode ser derivada incluem: empregar um sensor de telêmetro, executar o processamento SLAM em imagens para derivar um modelo 3D (conforme detalhado acima) e amostrar imagens contendo um objeto com dimensões conhecidas.

[0078] Muitos projetores incluem uma óptica que projeta a imagem virtual a uma distância finita. Nesse caso, a calibração é preferencialmente realizada enquanto se visualiza uma cena a uma distância correspondente à distância aparente da imagem virtual. Por exemplo, se a imagem virtual for focada em 2 metros, a calibração também deve ser realizada preferencialmente em uma cena ou objeto localizado a uma distância de cerca de dois metros. A imagem injetada da câmera no projetor é deslocada de acordo com a paralaxe entre a câmera e o projetor (a distância relativa é conhecida) na distância especificada e no centro do campo.

[0079] É importante observar que os procedimentos de alinhamento descritos aqui são aplicáveis também se os dois pares de projetor/câmera forem combinados rigidamente durante o processo de produção, ou seja, sem espaçamento ajustável para a DIP. Nesse caso, as transformações 72 e 74 são tipicamente pré-calibradas, como descrito acima, e apenas as transformações 76 e 78 são alcançadas através da entrada do usuário.

[0080] Em todos os casos aqui mencionados, nos quais é feita referência à "correção do alinhamento estereoscópico", isso geralmente é implementado através da geração de uma matriz de calibração que relaciona cada olho ao mundo real ou define uma relação entre os olhos.

[0081] Uma abordagem alternativa para realizar o alinhamento cruzado de projetores para realidade aumentada binocular pode ser alcançada sem a dependência de câmeras externas (que podem ou não estar presentes no produto). Em vez disso, esse terceiro subconjunto de técnicas de correção de alinhamento emprega uma câmera, separada do dispositivo de exibição de realidade aumentada, para amostrar imagens simultaneamente do monitor do olho direito e do olho esquerdo e, em seguida, obter uma correção de alinhamento da imagem. Uma implementação exemplar dessa abordagem alternativa é apresentada abaixo.

[0082] Em termos gerais, um método para derivar uma correção de alinhamento entre uma tela do olho direito e uma tela do olho esquerdo de um dispositivo de exibição de realidade aumentada binocular de acordo com este aspecto da presente invenção inclui as etapas de: a) posicionar uma câmera com um campo de visão para que o campo de visão da câmera inclua simultaneamente parte de uma imagem projetada a partir da tela do olho esquerdo e parte de uma imagem projetada a partir da tela do olho direito; b) projetar através de cada uma das telas, a do olho direito e a do olho esquerdo, pelo menos parte de uma imagem de calibração, incluindo pelo menos um recurso de alinhamento do campo direito e ao menos um recurso de alinhamento do campo esquerdo; c) empregar a câmera para amostrar uma imagem; d) identificar na imagem o recurso de alinhamento do campo direito e o recurso de alinhamento do campo esquerdo; e e) derivar, a partir de uma posição dentro da imagem do recurso de alinhamento do campo direito e o recurso de alinhamento do campo esquerdo, uma correção de alinhamento entre a tela do olho direito e a tela do olho esquerdo do dispositivo de exibição de realidade aumentada.

[0083] Uma implementação desta abordagem é ilustrada aqui esquematicamente na FIG. 10A Deve-se notar que parte da luz projetada pelo guia de ondas 42 em direção ao olho do observador é refletida para frente (isto é, para fora em relação ao usuário), por exemplo, pela superfície externa do guia de ondas mais próximo ao olho. Na implementação ilustrada aqui, é essa luz refletida externamente que é detectada por uma câmera 80 posicionada em um lado oposto ao lado de visualização do dispositivo de exibição de realidade aumentada 40L, 42L, de modo que a câmera capture uma porção refletida externamente da iluminação da imagem a partir de cada uma das telas dos olhos direito e esquerdo.

[0084] O controlador do sistema injeta uma imagem no projetor 40 que ilumina o olho através do guia de ondas 42, como mostrado pelas setas de linha sólida. Parte da luz é refletida na direção oposta, como mostrado pelas setas tracejadas.

[0085] Uma câmera em um dispositivo portátil 80 recebe pelo menos parte da imagem refletida para frente e transmite a imagem ao controlador do sistema para processamento. (A câmera aqui é ilustrada apenas esquematicamente e será claramente orientada para o projetor e posicionada para capturar parte da iluminação da imagem refletida para a frente.) O processamento pode, opcionalmente, ser realizado no próprio dispositivo portátil.

[0086] Embora apenas parte do campo seja recebida pela câmera 80, a imagem é projetada para que seja possível derivar qual parte da imagem foi recebida, conforme será discutido mais adiante com referência à FIG. 11D. Dessa parte, o processador deriva a orientação da câmera em relação à imagem projetada para frente.

[0087] A Figura 10B mostra esquematicamente dois projetores 99L e 99R, cada um indicativo da orientação do projetor para os dois olhos do dispositivo correspondente. Em 99L, o raio 100 é projetado em direção ao observador perpendicularmente às faces do guia de ondas 99L e a reflexão 102 é, portanto, refletida na direção oposta, ao longo do eixo óptico. Por outro lado, no guia de ondas 99R, é mostrada uma geometria alternativa na qual o eixo óptico da imagem projetada indicado pelo raio de saída 104 não é perpendicular à superfície do guia de ondas 99R e, portanto, o raio refletido 106 não é oposto a 104. Portanto, uma matriz de calibração deve ser derivada para a compensação de 106 em relação a 104. Essa matriz de calibração deve ser derivada comparando-se imagens prospectivas (100 e 104) com imagens refletidas (102 e 106) durante a produção do projetor ou conforme descrito abaixo.

[0088] A aquisição de imagens de acordo com esta abordagem é realizada simultaneamente para ambos os projetores, como mostrado esquematicamente na vista esquemática na FIG. 11A. As setas pontilhadas representam a imagem refletida para a frente. A câmera 80 recebe seções diferentes das imagens refletidas dos dois projetores e deriva a orientação para os dois campos. Ao comparar essas orientações, é possível derivar a orientação relativa entre os projetores e corrigir o alinhamento eletronicamente, como explicado acima.

[0089] Maior precisão de calibração é alcançada se a câmera 80 for colocada mais longe dos projetores 42. No caso de uma câmera de mão, que não pode ser convenientemente mantida tão longe do dispositivo, é possível obter imagens de uma distância efetiva maior observando os projetores através de um espelho 57, como ilustrado na FIG. 11B. Essa geometria baseada em espelho também permite que essa técnica de calibração seja implementada usando uma câmera embutida do próprio dispositivo de exibição de realidade aumentada, principalmente em dispositivos fornecidos com uma única câmera central.

[0090] A orientação da câmera 80 pode ser otimizada, fornecendo orientações visuais ao usuário para o posicionamento correto da câmera durante a calibração. Por exemplo, se a câmera 80 é uma câmera de um dispositivo móvel integrado a uma tela, como um telefone celular, pelo menos uma indicação para um usuário pode ser exibida através da tela para ajudar no posicionamento correto da câmera, conforme ilustrado na FIG. 11C. Além disso, ou alternativamente, para qualquer câmera de mão, pelo menos uma indicação pode ser exibida ao usuário por meio de um ou de ambos os monitores de realidade aumentada para ajudar no posicionamento correto da câmera.

[0091] FIG. 11D mostra um exemplo de uma imagem que pode ser projetada pelos dois monitores para o processo de calibração. Outras imagens arbitrárias podem ser usadas, e esta é apresentada aqui como um exemplo não limitativo. A imagem possui marcações claras 90a e 90b, que servem respectivamente como um recurso de alinhamento do campo esquerdo e um recurso de alinhamento do campo direito. As características de alinhamento dos campos direito e esquerdo podem fazer parte de um padrão geométrico contíguo ou podem ser características isoladas e são preferencialmente distinguíveis uma da outra. Eles preferencialmente incluem recursos que são facilmente identificados e processados por técnicas de processamento de imagem para derivar posição e orientação. A imagem é projetada após a compensação de quaisquer distorções geométricas introduzidas pelo próprio projetor. Deve-se notar que apenas uma parte da imagem é capturada pela câmera 80 de cada projetor separado. A câmera está posicionada de modo que, no caso de uma câmera do lado de fora do projetor, a imagem amostrada inclua o recurso de alinhamento do campo esquerdo visualizado pela tela do olho direito e o recurso de alinhamento do campo direito visualizado pela tela do olho esquerdo.

[0092] A Figura 11E mostra esquematicamente uma imagem 100 recebida pela câmera 80. A distância da câmera 80 aos óculos pode ser derivada de parâmetros nos óculos, por exemplo, o tamanho de óculos 82 na imagem. Nos guias de onda 42R e 42L, os reflexos da imagem projetada são aparentes como 84R e 84L. As imagens nas duas reflexões incluem as marcações 90a e 90b. Medindo a distância angular na imagem entre as marcações 86 e considerando a paralaxe causada pela distância conhecida dos óculos, é possível conhecer o real desalinhamento entre os projetores 42R e 42L. O desalinhamento angular também pode ser obtido como mostrado pelo ângulo de inclinação designado

88. Essa arquitetura também permite a detecção da posição do olho 60R e 60L. Isso melhora ainda mais o alinhamento da projeção, levando em consideração as distorções causadas pela posição dos olhos na caixa de olhos do projetor.

[0093] Em um conjunto alternativo de implementações, a câmera 80 é posicionada no lado de visualização do dispositivo de exibição de realidade aumentada, isto é, o lado a partir do qual o usuário olha através do visor. Nesse caso, a imagem amostrada inclui o recurso de alinhamento do campo direito visualizado na tela do olho direito e o recurso de alinhamento do campo esquerdo visualizado na tela do olho esquerdo. Um exemplo desta implementação é mostrado na FIG. 11F.

[0094] É importante que a câmera 80 seja focada na imagem projetada. Se as lentes forem colocadas na frente dos projetores 42, a imagem virtual 51 será gerada a uma distância aparente finita (a distância focal aparente). Isso deve ser considerado ao derivar a paralaxe introduzida em 84R e 84L. No exemplo da FIG. 11F, o projetor inclui lentes para que a imagem 51 seja projetada como imagens virtuais 62L (de 42L) e 62R (de 42R) a uma distância focal aparente 61. Essas duas imagens devem ser levadas à exata relação de sobreposição para o alinhamento ideal. A imagem adquirida pela câmera 80 será equivalente a 84L e 84R (descritas na FIG. 11E), e a derivação do deslocamento entre 62L e 62R considerará a distância da imagem virtual 61 (predefinida pelas lentes) e da câmera 63 (novamente derivada, por exemplo, pela identificação de uma dimensão do dispositivo 82 na imagem).

[0095] Como mencionado, a distância da câmera 80 do dispositivo de exibição pode ser determinada pela identificação de recursos associados ao dispositivo de exibição, como uma dimensão de largura 82, dentro da imagem. Idealmente, para determinar a distância e a orientação da câmera em relação ao dispositivo de exibição, o sistema de processamento identifica, de preferência, recursos na imagem associados ao dispositivo de exibição de realidade aumentada binocular suficientes para definir pelo menos três, e mais preferencialmente quatro pontos fiduciais não colineares (e para quatro, não coplanares). Os recursos podem ser qualquer recurso relacionado à forma do dispositivo ou qualquer padrão de referência formado em uma superfície do dispositivo. Nos casos em que a imagem de calibração projetada é renderizada em uma profundidade focal específica, os recursos da imagem virtual projetada também podem, em alguns casos, ser usados como pontos fiduciais. Os pontos fiduciais são então processados para determinar uma posição da câmera em relação aos pontos fiduciais e, portanto, aos projetores.

[0096] Uma implementação não limitativa exemplar deste processo é descrita na FIG. 12. Como na FIG. 8 acima, a calibração pode ser necessária devido ao desalinhamento introduzido pelo ajuste da DIP (etapa 140), embora não esteja limitada a esses casos. Na etapa 142, a imagem de calibração ou “imagem de campo” é “injetada” para exibição através dos projetores de olho direito e esquerdo, e a câmera 80 é usada para amostrar uma imagem contendo uma parte da iluminação correspondente à imagem de calibração de cada um dos projetores e, de preferência, também gerando a imagem dos projetores ou outras características do próprio dispositivo de exibição (etapa 144).

[0097] Na etapa 146, os recursos do dispositivo de exibição são processados para determinar a orientação da câmera em relação a cada projetor. Isso fornece informações suficientes para permitir a derivação do alinhamento relativo dos projetores das partes da imagem de calibração adquiridas através de cada tela (etapa 148). Quando a câmera 80 é usada na parte externa da tela com iluminação refletida externamente e quando o eixo de projeção da imagem não é perpendicular às superfícies do guia de ondas, parâmetros de deslocamento de reflexões pré-medidos (150) também são empregados no cálculo do alinhamento. Os cálculos de alinhamento são então usados para gerar matrizes de calibração para atualizar o firmware de cada projetor (etapa 152).

[0098] A câmera no dispositivo portátil 80, também pode ser usada para ajudar o usuário durante o próprio ajuste mecânico de DIP (antes de executar a calibração descrita). De acordo com esta opção, o usuário altera a distância entre os projetores enquanto a câmera transmite continuamente a imagem da faceta para o processador. O processador compara a posição do olho com a posição do projetor óptico (que pode opcionalmente ter marcações para facilitar a detecção da posição do projetor) e gera uma saída para o usuário (normalmente um sinal de áudio e/ou uma exibição visual) para indicar como a posição relativa deve ser ajustada ainda mais, ou para informar o usuário quando uma posição ideal for alcançada para o usuário. O processo de calibração é então realizado preferencialmente, como aqui descrito.

[0099] Deve-se apreciar que as descrições acima se destinam apenas a servir como exemplos, e que muitas outras modalidades são possíveis dentro do escopo da presente invenção, conforme definido nas reivindicações anexas.

Claims

REIVINDICAÇÕES

1. Método para derivar uma correção de alinhamento entre uma tela do olho direito e uma tela do olho esquerdo, de um dispositivo de exibição de realidade aumentada binocular, caracterizado pelo fato de o método compreender as etapas de: (a) posicionar uma câmera com um campo de visão para que o campo de visão da câmera inclua simultaneamente parte de uma imagem projetada a partir da tela do olho esquerdo e parte de uma imagem projetada a partir da tela do olho direito; (b) projetar, através de cada uma das telas do olho direito e do olho esquerdo, pelo menos parte de uma imagem de calibração, incluindo ao menos um recurso de alinhamento do campo direito e ao menos um recurso de alinhamento do campo esquerdo; (c) empregar a câmera para amostrar uma imagem; (d) identificar na imagem o recurso de alinhamento do campo direito e o recurso de alinhamento do campo esquerdo; e (e) derivar, a partir de uma posição dentro da imagem do recurso de alinhamento do campo direito e do recurso de alinhamento do campo esquerdo, uma correção de alinhamento entre a tela do olho direito e a tela do olho esquerdo do dispositivo de exibição de realidade aumentada.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de a câmera estar posicionada no lado de visualização do dispositivo de exibição de realidade aumentada, de modo que a imagem inclua o recurso de alinhamento de campo direito visualizado através da tela do olho direito e o recurso de alinhamento de campo esquerdo visualizado através da tela do olho esquerdo.

3. Método, de acordo com a reivindicação 2, caracterizado pelo fato de a imagem de calibração projetada ser exibida com uma distância focal aparente e em que a câmera é focada na distância focal aparente.

4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de a câmera estar posicionada em um lado oposto ao lado de visualização do dispositivo de exibição de realidade aumentada, de modo que a câmera capture uma porção refletida para fora da iluminação da imagem de cada uma das telas do olho direito e do olho esquerdo e de modo que a imagem inclua o recurso de alinhamento do campo esquerdo visualizado no visor do olho direito e o recurso de alinhamento do campo direito visualizado no visor do olho esquerdo.

5. Método, de acordo com a reivindicação 4, caracterizado pelo fato de a câmera ser uma câmera portátil, o método compreendendo ainda a exibição através da tela do olho direito e/ou da tela do olho esquerdo pelo menos uma indicação para um usuário para ajudar no posicionamento correto da câmera.

6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de compreender as etapas de: (a) identificar, na imagem, características associadas ao dispositivo de exibição de realidade aumentada binocular suficientes para definir pelo menos três pontos fiduciais; e (b) determinar uma posição da câmera em relação aos ao menos três pontos fiduciais.

7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de o referido posicionamento incluir direcionar a câmera para um espelho, de modo que o campo de visão refletido inclua simultaneamente parte de uma imagem projetada a partir da tela do olho esquerdo e parte de uma imagem projetada a partir da tela do olho direito.

8. Método, de acordo com a reivindicação 1, caracterizado pelo fato de a câmera ser uma câmera de um dispositivo móvel integrado a uma tela, o método compreendendo ainda a exibição através da referida tela de ao menos uma indicação ao usuário para ajudar no posicionamento correto da câmera.

9. Método, de acordo com a reivindicação 1, caracterizado pelo fato de compreender ainda a implementação de uma correção de alinhamento no dispositivo de exibição de realidade aumentada com base na referida correção de alinhamento derivada.

10. Método para correção do alinhamento estereoscópico entre uma tela do olho direito e uma tela do olho esquerdo, de um dispositivo de exibição de realidade aumentada binocular, caracterizado pelo fato de o método compreender as etapas de: (a) fornecer um dispositivo de realidade aumentada compreendendo: (i) uma unidade de exibição do olho direito que compreende uma primeira tela de realidade aumentada rigidamente integrada a uma primeira câmera prospectiva, (ii) uma unidade de exibição do olho esquerdo que compreende uma segunda tela de realidade aumentada rigidamente integrada a uma segunda câmera prospectiva, e (iii) uma estrutura de suporte interconectada entre a referida unidade de exibição do olho direito e a referida unidade de exibição do lado esquerdo; (b) fornecer um primeiro mapeamento de alinhamento entre a referida primeira câmera e a referida primeira tela de realidade aumentada e um segundo mapeamento de alinhamento entre a referida segunda câmera e a referida segunda tela de realidade aumentada; (c) amostrar pelo menos uma imagem da referida primeira câmera; (d) amostrar pelo menos uma imagem da referida segunda câmera; (e) coprocessar as referidas imagens das referidas primeira e segunda câmeras para derivar um mapeamento entre câmeras que seja indicativo de uma orientação relativa entre a referida primeira câmera e a referida segunda câmera; (f) combinar o referido mapeamento entre câmeras com o referido primeiro mapeamento de alinhamento e o referido segundo mapeamento de alinhamento para derivar um mapeamento de alinhamento entre telas que seja indicativo de uma orientação relativa da referida primeira tela de realidade aumentada e da referida segunda tela de realidade aumentada; e (g) implementar uma correção de alinhamento no dispositivo de exibição de realidade aumentada com base no mapeamento de alinhamento entre telas.

11. Método, de acordo com a reivindicação 10, caracterizado pelo fato de a referida imagem da referida primeira câmera e da referida segunda câmera ser amostrada para uma cena distante.

12. Método, de acordo com a reivindicação 10, caracterizado pelo fato de as referidas imagens da referida primeira câmera e da referida segunda câmera são imagens múltiplas e em que o referido coprocessamento inclui derivar um modelo tridimensional de ao menos parte de uma cena incluída nas referidas imagens múltiplas.

13. Método para correção do alinhamento estereoscópico entre uma tela do olho direito e uma tela do olho esquerdo, de um dispositivo de exibição de realidade aumentada binocular, caracterizado pelo fato de compreender as etapas de: (a) fornecer um dispositivo de realidade aumentada que compreende uma tela de realidade aumentada do olho direito, uma tela de realidade aumentada do olho esquerdo, uma câmera direita espacialmente associada à referida tela de realidade aumentada do olho direito e uma câmera esquerda espacialmente associada à referida tela de realidade aumentada do olho esquerdo; (b) realizar um primeiro processo de registro cruzado compreendendo: (i) obter ao menos uma imagem de uma cena amostrada por tal câmera direita, (ii) exibir através da referida tela de realidade aumentada do olho esquerdo pelo menos um recurso de alinhamento derivado da referida imagem amostrada pela referida câmera direita, (iii) receber uma entrada do usuário indicativa de um deslocamento de alinhamento entre ao menos um recurso de alinhamento e um recurso correspondente diretamente visualizado da cena, e (iv) corrigir uma posição de exibição do pelo menos um recurso de alinhamento de acordo com a entrada do usuário até que ao menos um recurso de alinhamento esteja alinhado com o correspondente recurso diretamente visualizado da cena; (c) realizar um segundo processo de registro cruzado compreendendo: (i) obter ao menos uma imagem de uma cena amostrada por tal câmera esquerda,

(ii) exibir através da referida tela de realidade aumentada do olho direito pelo menos um recurso de alinhamento derivado da referida imagem amostrada pela referida câmera esquerda, (iii) receber uma entrada do usuário indicativa de um deslocamento de alinhamento entre ao menos um recurso de alinhamento e um recurso correspondente diretamente visualizado da cena, e (iv) corrigir uma posição de exibição do pelo menos um recurso de alinhamento de acordo com a entrada do usuário até que ao menos um recurso de alinhamento esteja alinhado com o correspondente recurso diretamente visualizado da cena; (d) implementar uma correção de alinhamento no dispositivo de exibição de realidade aumentada com base em tais entradas do usuário.

14. Método, de acordo com a reivindicação 13, caracterizado pelo fato de o referido recurso de alinhamento para cada um dos referidos processos de registro cruzado ser ao menos parte da imagem amostrada.

15. Método, de acordo com a reivindicação 13, caracterizado pelo fato de o referido recurso de alinhamento para cada um dos referidos processos de registro cruzado ser um marcador de local correspondente a um recurso detectado na imagem amostrada.

16. Método, de acordo com a reivindicação 13, caracterizado pelo fato de compreender ainda a obtenção de uma distância estimada para um objeto na imagem amostrada, sendo a referida distância estimada empregada para implementar a referida correção de alinhamento.

17. Método, de acordo com a reivindicação 13, caracterizado pelo fato de a referida câmera direita ser montada rigidamente em relação à referida tela de realidade aumentada do olho direito e em que a referida câmera esquerda é montada rigidamente em relação à referida tela do olho esquerdo, sendo a referida correção de alinhamento implementada usando dados de alinhamento relativos para a referida câmera direita em relação à referida tela de realidade aumentada do olho direito e dados de alinhamento relativo para a referida câmera esquerda em relação à referida tela de realidade aumentada do olho esquerdo.

18. Método, de acordo com a reivindicação 13, caracterizado pelo fato de compreender ainda a execução de ao menos um processo de registro adicional para receber entradas do usuário para corrigir um alinhamento de ao menos uma das referidas telas de realidade aumentada no olho direito e a referida tela de realidade aumentada no olho esquerdo em relação à correspondente câmera entre as câmeras esquerda e direita.