PT107198A - Sistema de medida e visualização virtual de óculos num cenário real - Google Patents

Sistema de medida e visualização virtual de óculos num cenário real Download PDF

Info

Publication number
PT107198A
PT107198A PT107198A PT10719813A PT107198A PT 107198 A PT107198 A PT 107198A PT 107198 A PT107198 A PT 107198A PT 10719813 A PT10719813 A PT 10719813A PT 107198 A PT107198 A PT 107198A
Authority
PT
Portugal
Prior art keywords
observer
lenses
virtual
observed scene
calibration
Prior art date
Application number
PT107198A
Other languages
English (en)
Inventor
César Augusto Dos Santos Silva
Original Assignee
César Augusto Dos Santos Silva
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by César Augusto Dos Santos Silva filed Critical César Augusto Dos Santos Silva
Priority to PT107198A priority Critical patent/PT107198A/pt
Priority to PCT/IB2014/064773 priority patent/WO2015044866A1/pt
Publication of PT107198A publication Critical patent/PT107198A/pt

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00Assembling; Repairing; Cleaning
    • G02C13/003Measuring during assembly or fitting of spectacles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Eyeglasses (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

O PRESENTE INVENTO ENCONTRA-SE NO DOMÍNIO TÉCNICO DA ÓPTICA E DA OFTALMOLOGIA. O PRESENTE INVENTO REFERE-SE A UM SISTEMA E A UM MÉTODO QUE PERMITE A UM UTILIZADOR NÃO SÓ VISUALIZAR ÓCULOS VIRTUAIS NO SEU PRÓPRIO ROSTO MAS TAMBÉM SIMULAR O EFEITO DAS LENTES DESSES MESMOS ÓCULOS SOBRE A CENA OBSERVADA. PARA TAL PROPÕE-SE UM SISTEMA ESTÉREO DIVERGENTE CONSTITUÍDO POR DUAS CÂMARAS E PROPÕE-SE UM MÉTODO QUE CALIBRA O SISTEMA, RECONSTRÓI PONTOS SOBRE O ROSTO DO OBSERVADOR PERMITINDO MEDIDAS EXACTAS, E SOBREPÕE OBJECTOS VIRTUAIS SOBRE O CENÁRIO REAL.

Description

DESCRIÇÃO
Sistema de Medida e Visualização Virtual de Óculos num Cenário Real
Enquadramento A presente invenção encontra-se no domínio da óptica e da optometria, e refere-se à medida e visualização virtual de óculos, usando como suporte um sistema electrónico com câmaras, com aplicações no comércio electrónico de óculos e na simulação de lentes oftálmicas e de lentes de protecção solar. 0 presente invento permite a um utilizador responder a dois problemas quando se pretende escolher remotamente (por exemplo via Internet) um determinado modelo de óculos: (1) como fica o utilizador com aquele par de óculos específico, ou seja, qual é o seu aspecto quando os óculos são colocados sobre o seu rosto; e (2) como os óculos afectam a visão do observador, ou seja, qual é o efeito das lentes sobre os objectos que rodeiam o utilizador. 0 presente invento propõe um sistema estéreo divergente que capta simultaneamente o observador e a cena observada. Propõe ainda um método que calibra o sistema, reconstrói e mede pontos sobre o rosto do observador, e permite a visualização de objectos virtuais sobrepostos sobre o cenário real.
Estado da arte A Internet é uma rede que liga computadores, empresas e pessoas de todo o mundo, fornecendo uma infra-estrutura única para os negócios, nas suas diversas vertentes, tais como na logística, nas comunicações, no retalho, nas transacções, nos pagamentos, nas organizações, nas formas de trabalho, etc. Especificamente o comércio electrónico tem apresentado uma evolução crescente em todas as áreas de negócio, incluindo em áreas menos convencionais como os serviços ou o retalho de mobiliário, vestuário, calçado e óculos.
Com a capacidade crescente de processamento dos computadores e com o aumento significativo da largura de banda nas comunicações, têm surgido soluções avançadas quer na exposição dos produtos (através de meios visuais de grande resolução) quer na experimentação de produtos (através de processos que misturam a realidade com objectos virtuais, genericamente referido como Realidade Aumentada). Contudo, o comércio online dos produtos mais dependentes da experimentação por parte do consumidor (como os referidos: vestuário, calçado ou óculos) ainda é residual comparado com o retalho em loja física. Este facto deve-se, em parte, aos meios ainda limitados que a Internet oferece para que a experiência de produtos seja satisfatória por parte do utilizador.
As principais soluções que actualmente melhoram a experiência do utilizador na apresentação do produto online são, por ordem de complexidade: 1. Apresentação fotográfica dos produtos (em formato real ou virtual) com grande resolução e possibilidade de interacção (rotação e zoom); 2. Configuradores de produtos, em que o utilizador pode alterar ou configurar via online partes do produto, dimensões, materiais ou texturas; 3. Realidade aumentada por fotografia, em que o utilizador pode experimentar o produto virtual sobre uma fotografia que pode ser fornecida pelo retalhista ou pelo próprio utilizador - neste caso, usualmente o produto virtual é colocado/ajustado sobre a fotografia com a ajuda manual do utilizador; 4. Realidade aumentada por video, em que o utilizador pode experimentar o produto virtual em tempo real usando uma câmara apontada à cena real (que pode ser a sua sala, no caso do mobiliário, ou o seu rosto, no caso de venda de óculos) - neste caso a sobreposição do produto virtual sobre a realidade é feita de forma automática.
No retalho de óculos têm surgido muitas soluções em que se recorre à realidade aumentada por video, em que se colocam óculos virtuais sobre o rosto do utilizador. Contudo, nenhuma solução conhecida no actual estado da arte tem uma abordagem global do produto e serviço associado. Mais especificamente, nenhuma solução conhecida integra, no mesmo sistema, a visualização do utilizador com óculos virtuais com a simulação do efeito das lentes, permitindo igualmente a medida de distâncias optométricas do utilizador. 0 presente invento propõe melhorar as ferramentas de comércio electrónico apresentando uma solução global inovadora que permite simular quer os óculos sobre o observador quer a cena observada. Para tal recorre a um dispositivo com câmaras divergentes (frontal e traseira). Na área do invento, não existem soluções conhecidas que integrem e que utilizem em simultâneo duas câmaras divergentes para um mesmo fim ou objectivo, apesar destas estarem comercialmente disponíveis em dispositivos comuns como tablets ou smartphones. Síntese do Invento 0 presente invento consiste num sistema de medida e visualização de óculos virtuais sobre um cenário real envolvendo o observador e a cena observada. Propõe-se simular não só o aspecto geral dos óculos no rosto do utilizador como também simular a cena observada vista através das lentes virtuais. 0 sistema proposto compreende um sistema de visão estéreo (duas câmaras) divergente - que significa que os campos de visão não se intersectam. Sistemas de visão estéreo divergente podem encontrar-se em vários dispositivos actualmente disponíveis, tais como tablets ou smartphones, cujas câmaras se encontram à frente e atrás do dispositivo.
No presente invento, o sistema de visão estéreo divergente capta o rosto do observador e a cena observada pelo mesmo. Apresentando no ecrã estes dois pontos de vista, o sistema oferece uma percepção simultânea de observador e da cena observada.
Essa percepção é enriquecida com a sobreposição de objectos ou de efeitos virtuais. No caso do observador, sobrepõe-se óculos virtuais sobre o rosto. No caso da cena observada, pode-se sobrepor objectos virtuais ou pode-se acrescentar efeitos de imagem para simular as lentes dos óculos (oftálmicos ou de sol) . Para que esta sobreposição seja metricamente correcta é necessário conhecer as relações métricas entre os elementos do sistema de visão. Para estimar as relações métricas exactas das câmaras e do observador, é necessário converter o sistema estéreo divergente num sistema estéreo convergente (em que os campos de visão das duas câmaras se intersectam). Para tal coloca-se um espelho à frente de uma das câmaras, o que permite desviar os raios de projecção que incidem nessa câmara. Na configuração de visão estéreo convergente adoptada é possível (1) calibrar o sistema (conhecer as medidas internas das câmaras e a relação geométricas entre elas), (2) reconstruir tridimensionalmente pontos relevantes sobre o rosto do utilizador, tais como os centros das pupilas permitindo, assim, calcular a distância interpupilar, ou (3) reconstruir tridimensionalmente os contornos das lentes de óculos, caso o utilizador tenha óculos reais sobre o rosto.
Descrição das Figuras FIG 1 mostra os principais passos que compõem o método associado à presente invenção. FIG 2 mostra o sistema estéreo divergente inserido num cenário real composto pelo observador e pela cena observada. Mostra ainda o movimento efectuado pelo dispositivo para captar uma sequência de imagens vídeo. FIG 3 mostra o sistema na sua configuração estéreo convergente, em que se inclui um espelho. FIG 4 mostra em termos geométricos de uma forma simplificada como funciona o sistema na sua configuração estéreo convergente. FIG 5 mostra em termos geométricos como se realiza a calibração recorrendo a um dispositivo de calibração e a pontos do próprio dispositivo. FIG 6 mostra as imagens resultantes da captação das duas câmaras na configuração de visão estéreo divergente, em que se mostram o observador e a cena observada, com sobreposição de objectos virtuais. FIG 7 mostra em termos geométricos as medidas optométricas passíveis de ser obtidas no presente invento.
Descrição detalhada 0 presente invento consiste num sistema estéreo divergente e respectivo método para captura simultânea de um observador e da cena observada, com as seguintes funcionalidades: A) Do lado do observador: - obter um vídeo do observador em movimento; - obter um vídeo em que se sobrepõe óculos virtuais no rosto do observador; obter medidas precisas do observador, nomeadamente a distância interpupilar; B) Do lado da cena observada: - obter um video da cena observada (em coerência com o movimento do observador); - obter um video da cena observada em que se sobrepõem objectos virtuais; - simular aquilo que o observador "vê" com óculos virtuais de protecção solar (óculos de sol); - simular aquilo que o observador "vê" com óculos virtuais de correcção (lentes oftálmicas).
Na configuração proposta neste invento (Reivindicações 1 e 2), o sistema é constituído por: uma unidade de processamento; duas câmaras de vídeo - uma frontal (201) (501), definida como a que aponta para o observador, e outra traseira (202) (502), definida como a que aponta para a cena observada - colocadas em direcções opostas; um ecrã que apresenta as imagens captadas pelas câmaras; um módulo de estimação de rotação do sistema (recorrendo a sensores internos do dispositivo tais como giroscópio, bússola e acelerómetro, como se apresenta na Reivindicação 4); e ainda um dispositivo de calibração que combinado com um espelho plano (503) permite calibrar o sistema. O dispositivo de calibração e o espelho são elementos importantes do sistema, e interagem com o sistema da seguinte forma: - 0 dispositivo de calibração, cuja realização preferida (Reivindicação 3) consiste numa grelha planar (507) formada por quadrados pretos sobre fundo branco, contem um conjunto de pontos previamente medidos e que são introduzidos no processo de calibração, processo este que é essencial para conhecer a relação geométrica entre as duas câmaras; O espelho permite converter o sistema divergente num sistema estéreo convergente convencional, tornando-se possível não só calibrar as duas câmaras envolvidas (já que, com a ajuda do espelho, as câmaras podem captar o dispositivo de calibração ao mesmo tempo), como também medir outros pontos do espaço que captem em simultâneo, tal como pontos do rosto do observador.
As funcionalidades descritas no sistema realizam-se por um método que compreende os seguintes passos (Reivindicação 5) : a) Passo de calibração (100):
Para proceder à calibração do sistema estéreo converte-se o sistema num sistema estéreo convergente introduzindo um espelho (Reivindicação 6). Na FIG. 5 representa-se uma configuração possível de câmaras Cl (501) e C2(502), espelho S (503) e dispositivo de calibração (507). Para fins de explicação, usa-se como exemplo um ponto M (505) conhecido do dispositivo de calibração. A projecção ml do ponto M na imagem da câmara Cl e a projecção m2 do mesmo ponto M na câmara C2 são definidas pelas expressões: ml = Pl.M m2 = P2.M em que PI e P2 são matrizes de projecção de Cl e C2, e contêm toda a informação geométrica que definem as câmaras, pelo que conhecendo estas matrizes considera-se o sistema calibrado. A estimação de PI e P2 corresponde à resolução de um problema inverso quando se conhece ml, m2 e Μ. A solução recorre a ferramentas conhecidas do campo da álgebra e da regressão. Para que o processo de estimação convirja e seja robusto, não se usa apenas um ponto M (505) mas uma colecção razoável de pontos retirados da superfície do dispositivo de calibração, que nesta configuração são os cantos dos quadrados pretos. Para aumentar ainda mais esta colecção de pontos, usam-se vários dispositivos de calibração em diferentes posições e inclinações.
Pode-se incluir igualmente pontos do próprio dispositivo (500), tal como representado na FIG.5, em que o ponto Q (506) e a respectiva projecção q (510) são um exemplo. Neste caso, como os pontos do dispositivo são captados apenas pela câmara C2, apenas contribuem para a estimação da matriz P2 (Reivindicação 7), usando a mesma expressão apresentada acima, onde se substitui M por Q. b) Um passo (101) de estimação de pontos sobre o observador:
Mantendo a configuração estéreo convergente da FIG. 3, é possível reconstruir e medir pontos do corpo do observador (Reivindicação 8). A FIG.4 mostra geometricamente como se reconstrói um ponto tridimensional R (405) conhecendo as coordenadas rl e r2 correspondentes à projecção desse ponto nas imagens captadas pelas câmaras Cl e C2. Conhecendo rl, r2 e a posição relativa entre o espelho S (403) e os centros ópticos das câmaras Cl e C2, pode-se desenhar as duas rectas de projecção que partem dos respectivos centros ópticos e passam por rl e r2 (sendo que a recta que parte de C2 reflecte no espelho S). Por triangulação (intersecção das duas rectas referidas), reconstrói-se o ponto R nas suas coordenadas tridimensionais.
Para o método, é importante reconstruir vários pontos caracteristicos do observador. Os mais relevantes são os centros das pupilas (Reivindicação 9).
Contudo, poderão ser reconstruídos outros pontos relevantes na área da optometria, nomeadamente os contornos das lentes (Reivindicação 16), no caso de o observador usar óculos reais sobre o rosto. c) um passo (102) de movimento do dispositivo do referido sistema em torno do observador, em que se captura simultaneamente uma sequência de imagens vídeo da câmara frontal e uma sequência de imagens vídeo da câmara traseira:
Neste passo, coloca-se o sistema na sua configuração estéreo divergente (sem espelho), como se mostra na FIG. 2. Nessa configuração, o observador (204) encontra-se imóvel, olhando para a cena observada (Reivindicação 10) e procede a um movimento (203) do sistema de câmaras, cuja trajectória é, preferencialmente, horizontal e rotativo, entre -60 e 60 graus, como se apresenta na Reivindicação 11.
Na FIG.6 apresenta-se um exemplo de imagens representadas no ecrã do sistema. Para a imagem da câmara frontal (602), o rosto (600) faz um movimento aparente de rotação entre -60 e 60 graus (604) . Para a imagem da câmara traseira (603), a cena observada (601) tem um determinado movimento relativo na imagem (605) como se mostra na FIG 6.
Note-se que os videos não pretendem estar em conformidade perfeita com o mundo real, porquanto o observador não está de facto a seguir verdadeiramente a cena real em coerência com o movimento das câmaras. Na realidade o observador está estático relativamente à cena observada ao longo de todo o video. Contudo, a coerência entre o movimento aparente do observador e o movimento da cena observada é exacta (em termos de velocidade instantânea) dando a ilusão que o observador segue com o olhar (e a cabeça) a cena observada. d) um passo (103) de estimação da rotação do dispositivo do referido sistema, realizada pelo módulo de estimação de rotação do referido sistema, que na configuração preferida recorre a acelerómetro, giroscópio e bússola. Poderá também recorrer a informação de imagem para estimar a rotação, a partir do seguimento de pontos caracteristicos das imagens captadas quer pela câmara frontal quer pela câmara traseira. e) um passo (104) em que se sobrepõe óculos virtuais sobre o rosto do observador, tendo em conta a rotação do dispositivo estimada em d) e pontos sobre o observador, estimados em b):
Na FIG. 6 apresenta-se uma imagem (602) com óculos virtuais (606). Assumindo que os óculos virtuais são conhecidos e a sua estrutura tridimensional conhecida, impõe-se uma rotação aos óculos igual à do movimento (604) do dispositivo em cada instante do video. Adicionalmente, para cada instante, escalam-se e posicionam-se os óculos virtuais de forma a que os lentes projectadas na imagem estejam alinhadas ou centradas em relação ao centro das pupilas esquerda (608) e direita (607) (Reivindicação 12). Para se alinhar os óculos virtuais é necessário detectar na imagem, para cada instante do video, o centro das pupilas. Tal pode ser conseguido usando técnicas de processamento de imagem conhecidas para detecção de olhos e pupilas.
Aplica-se o processo de sobreposição de elementos virtuais (609) também para a cena observada (601), tal como se apresenta na Reivindicação 13, porquanto se conhece a rotação do video ou se podem fixar e seguir elementos visuais na cena observada. No limite pode-se substituir a cena observada por um cenário virtual gerado totalmente por computador ou gerado a partir de uma fotografia (por uma técnica conhecida em computação gráfica por "skybox"). Deste modo, pode-se simular diferentes cenários para o mesmo observador, para a mesma trajectória. f) Um passo (105) de visualização no ecrã da imagem do observador (602) e da cena observada (603): A visualização das duas imagens obtidas das duas câmara, em simultâneo, permite experimentar, para o mesmo video, diferentes óculos virtuais e diferentes cenários, como se explica no passo anterior.
Assim, para um determinado par de óculos com lentes de protecção solar, com uma determinada função de transmitância do espectro da luz visível F, pode-se experimentar esse par de óculos no rosto do observador e, simultaneamente, aplicar a função F à imagem (603), de forma a simular o efeito visual da lente (Reivindicação 14) .
Da mesma forma, para um determinado par de óculos com lentes de correcção (conhecidas por lentes oftálmicas), com uma determinada função de refractância (considerando a lente como um meio refractivo com uma forma conhecida) , pode-se aplicar essa função a um cenário real ou virtual de forma a simular o efeito visual da lente (Reivindicação 15) . O resultado da aplicação da função de refractância em objectos com localização conhecida corresponde a uma imagem em que os objectos (longe ou perto do observador) ficam menos ou mais focados, dependendo da função estabelecida para a lente.
Por outro lado, tendo uma ideia precisa ou aproximada da função de refractância do próprio sistema ocular do observador, pode-se aplicar essa função ao cenário observado, simulando a visão do observador. Por fim, pode-se simular o cenário observado (real e virtual) combinando o sistema ocular com a lente oftálmica.
No passo b) do Método apresentado, estimam-se os centros das pupilas. No mesmo passo, propõe-se ainda um processo de estimar o contorno das lentes caso o observador coloque óculos reais sobre o rosto. A estimativa das pupilas e dos contornos da lentes tem como consequência ter acesso a algumas medidas relevantes na área da optometria, como se descreve de seguida. A FIG. 7 apresenta a geometria de suporte para obter as medidas mais relevantes.
Algumas medidas são efectuadas na vista frontal do rosto. A vista frontal é a imagem obtida quando o observador está a olhar de frente para a câmara (formalmente o eixo óptico da câmara frontal é paralelo aos eixos ópticos do observador). As medidas realizadas na vista frontal são: - a distância interpupilar (700), que consiste na distância entre os centros das pupilas (Reivindicação 17); - a altura direita (701) que consiste na altura entre o centro da da pupila direita e a cota inferior (ou linha horizontal inferior) do contorno da lente direita (701); - a altura esquerda (702) que consiste na altura entre o centro da da pupila direita e a cota inferior (ou linha horizontal inferior) do contorno da lente direita (702) (Reivindicação 18); - as medidas principais dos contornos das lentes, tais como a largura máxima (705), a distância minima entre as lentes (703) e a altura máxima (704) (Reivindicação 19);
Existem medidas que não são realizadas na vista frontal do rosto, porque necessitam de informação de profundidade. Para realizar essas medidas é necessário estimar o plano que melhor se aproxima do contorno da lente (Reivindicação 20) . Esta estimação é um problema de minimização resolvido por um algoritmo conhecido de regressão linear, por minimização do erro quadrático médio. É portanto gerado um plano para cada lente, em que o plano (707) da FIG.7 é o exemplo de um plano para a lente direita (706) . A orientação deste plano (707) é uma medida angular necessária ao planeamento da lentes oftálmicas (nomeadamente progressivas). Usando o plano (707) é possível ainda obter outra medida tridimensional relevante, o vertex ou a menor distância (708) entre o centro da pupila e o plano (707) (Reivindicação 21). A utilização do sistema e do método apresentado no presente invento destina-se a qualquer das seguintes aplicações (Reivindicação 22): a. Aplicação multimédia para visualização de lentes e armações virtuais sobre o rosto do observador, b. Selecção de lentes e armações que melhor se ajustam ao observador, c. Simulação do efeito das lentes correctivas e lentes de protecção solar, d. Obtenção de medidas optométricas do rosto do observador, e. Construção ou selecção de lentes e armações à medida.
Lisboa, 26 de Setembro de 2013

Claims (22)

  1. REIVINDICAÇÕES 1. Sistema estéreo divergente para captura simultânea de um observador e da cena observada caracterizado por compreender: a) uma unidade de processamento; b) uma câmara video frontal (201)(501) e uma câmara video traseira (202) (502), direccionadas em sentidos opostos, acopladas rigidamente através de um dispositivo (200)(500), e ligadas à referida unidade de processamento; c) um módulo de estimação de rotação do dispositivo (200)(500) ligado à referida unidade de processamento; d) um ecrã ligado à referida unidade de processamento, para apresentação das imagens captadas pelas referidas câmaras; e) um espelho plano (503) que, colocado à frente da referida câmara traseira (502), permite uma configuração de visão estéreo convergente, em que o campo de visão da referida câmara traseira (502) intersecta parcialmente o campo de visão da referida câmara frontal (501); f) um dispositivo de calibração que, na referida configuração de visão estéreo convergente com o referido espelho (503), é colocado no mesmo campo de visão quer da referida câmara frontal quer da referida câmara traseira.
  2. 2. Sistema de acordo com a Reivindicação 1 caracterizado pelo facto de a referida unidade de processamento processar as imagens captadas pelas referidas câmaras e apresentar o resultado do processamento no referido ecrã .
  3. 3. Sistema de acordo com a Reivindicação 1 caracterizado pelo facto de o referido dispositivo de calibração apresentar na sua superfície marcas visuais, cuja realização preferida consiste numa grelha planar (507) formada por quadrados pretos sobre fundo branco cujos cantos são identificados e medidos (505).
  4. 4. Sistema de acordo com a Reivindicação 1 caracterizado pelo facto de o referido módulo de estimação de rotação do dispositivo compreender, mas não estar limitado a, um acelerómetro, um giroscópio e uma bússola.
  5. 5. Método implementado por computador para visualizar um observador com óculos virtuais juntamente com a cena observada, aplicado ao sistema de acordo com a Reivindicação 1, caracterizado por compreender os seguintes passos: a) um passo (100) de calibração das referidas câmaras frontal e traseira do referido sistema, de forma a conhecer a relação geométrica entre as ditas câmaras, b) um passo (101) de estimação de pontos sobre o observador, c) um passo (102) de movimento do dispositivo do referido sistema em torno do observador, em que se captura simultaneamente uma sequência de imagens vídeo da câmara frontal e uma sequência de imagens vídeo da câmara traseira, d) um passo (103) de estimação da rotação do dispositivo do referido sistema estimado pelo módulo de estimação de rotação do referido sistema, e) um passo (104) em que se sobrepõem óculos virtuais sobre o rosto do observador, tendo em conta a rotação do dispositivo estimada em d) e pontos sobre o observador estimados em b), f) um passo (105) em que se mostra no ecrã do referido sistema o video da câmara traseira e, em simultâneo, o video resultante do passo e);
  6. 6. Método de acordo com a Reivindicação 5 caracterizado pelo facto de, no passo a) , a calibração poder ser realizada para a configuração de visão estéreo convergente com o espelho do referido sistema, sendo que a calibração é realizada estimando as matrizes de projecção PI e P2 a partir das relações ml = Pl.M m2 = P2.M em que cada ponto M (505) é medido sobre o dispositivo de calibração, em que as projecções ml (508) e m2 (509) são detectadas nas imagens da câmara frontal e traseira, correspondentes às projecções do ponto M nas respectivas câmaras, e em que PI e P2 são as matrizes de projecção da câmara Cl (501) e C2 (502) respectivamente;
  7. 7. Método de acordo com a Reivindicação 5 caracterizado por, no passo a) de calibração, poder usar-se adicionalmente pontos Q (506) conhecidos sobre a superfície do dispositivo, com o objectivo de calibrar a câmara traseira (502) e o espelho do referido sistema (503), sabendo que a geometria da câmara traseira, definida pela matriz de projecção P2, pode ser estimada usando a relação q2 = P2.Q tendo por base os pontos Q e as respectivas projecções q2 (510) detectadas na imagem,
  8. 8. Método de acordo com a Reivindicação 5 e 6 caracterizado pelo facto de, no passo b) da Reivindicação 5, a estimação tridimensional de um ponto R (405) sobre o observador ser realizada mantendo a configuração de calibração do passo a) , de forma a que as câmaras frontal Cl (401) e traseira C2 (402) do referido sistema captem simultaneamente o ponto R (405), sendo que a estimação tridimensional de R é feita por triangulação das rectas de projecção provenientes de cada câmara, tendo por base o conhecimento das matrizes PI e P2 e da projecção do ponto R nas referidas câmaras;
  9. 9. Método de acordo com a Reivindicação 5 caraterizado pelo facto de, no passo b) , dois dos pontos sobre o corpo do observador serem os centros das duas pupilas do observador.
  10. 10. Método de acordo com a Reivindicação 5 caracterizado pelo facto de, no passo c) , a captura do referido vídeo ser realizada para uma configuração sem espelho, em que o observador (204) se encontra imóvel à frente da cena observada (205), e em que o observador movimenta o dispositivo (200) segundo uma trajectória em torno do seu rosto imóvel.
  11. 11. Método de acordo com a Reivindicação 10 caracterizado pelo facto de uma realização possível da trajectória do movimento do dispositivo (200) ser uma trajectória horizontal rotativo (203), sendo que a variação preferida do ângulo de rotação é entre os -60 graus e os 60 graus.
  12. 12. Método de acordo com a Reivindicação 5 e 9 caracterizado pelo facto de, no passo e) da Reivindicação 5, a sobreposição ser realizada para cada imagem da sequência vídeo capturada no passo c) da Reivindicação 5, e consistir na sobreposição de óculos virtuais tridimensionais (606) sobre o rosto do observador (600), cujas lentes são centradas e escaladas de acordo com as posições dadas pelas projecções dos centros das pupilas (607) e (608) na imagem da câmara frontal, e em que a rotação dos referidos óculos virtuais (604) é estimada no passo d) da Reivindicação 5.
  13. 13. Método de acordo com a Reivindicação 5 caracterizado por, no passo f) de visualização da cena observada (603), poder sobrepor adicionalmente elementos virtuais tridimensionais (609) ou cenários pré- gravados sobre o cena observada.
  14. 14. Método de acordo com a Revindicação 5 caracterizado por, no passo f) de visualização da cena observada, poder aplicar adicionalmente sobre a imagem (603) a função de transmitância característica de uma dada lente de protecção solar.
  15. 15. Método de acordo com a Reivindicação 5 caracterizado por, no passo f) de visualização da cena observada, poder aplicar adicionalmente sobre a cena observada (603) diferentes niveis de focagem em objectos de acordo com a sua distância, perto ou longe, tendo em conta as caracteristicas refractivas de uma determinada lente oftálmica e as caracteristicas oculares do observador.
  16. 16. Método de acordo com a Reivindicação 5 caraterizado pelo facto de, no passo b) , os pontos do observador incluírem os contornos (706) tridimensionais das armações e lentes, caso o observador tenha colocado óculos reais sobre o rosto.
  17. 17. Método de acordo com a Reivindicação 9 caracterizado por, no passo b) da Reivindicação 5, estimar a distância interpupilar (700), dada pela distância entre os centros das pupilas.
  18. 18. Método de acordo com a Reivindicação 9 e 16 caracterizado por estimar a altura direita e esquerda, dadas respectivamente pela distância (701) entre a cota inferior do contorno da lente direita e o centro da pupila direita, e pela distância (702) entre o ponto inferior do contorno da lente esquerda e o centro da pupila esquerda.
  19. 19. Método de acordo com a Reivindicação 16 caracterizado por estimar a largura dos óculos (705) e altura máxima da lente direita e esquerda (704), tal como a distância mínima entre as lentes (703);
  20. 20. Método de acordo com a Reivindicação 16 caracterizado por estimar por regressão linear quer o plano tridimensional (707) que melhor se aproxima dos contornos da lente direita (706), quer o plano tridimensional que melhor se aproxima dos contornos da lente esquerda.
  21. 21. Método de acordo com a Reivindicação 9 e 20 caracterizado por estimar, para cada olho do observador, a distância vertex (708) que consiste na menor distância do centro da pupila ao plano (707) .
  22. 22. Utilização do sistema e método de acordo com as Reivindicações anteriores caracterizada por se destinar, mas não estar limitada, a qualquer uma das seguintes aplicações: a) Aplicação multimédia para visualização de lentes e armações virtuais sobre o rosto do observador, b) Selecção de lentes e armações que melhor se ajustam ao observador, c) Simulação do efeito das lentes correctivas e lentes de protecção solar, d) Obtenção de medidas optométricas do rosto do observador, e) Construção ou selecção de lentes e armações à medida. Lisboa, 26 de Setembro de 2013
PT107198A 2013-09-26 2013-09-26 Sistema de medida e visualização virtual de óculos num cenário real PT107198A (pt)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PT107198A PT107198A (pt) 2013-09-26 2013-09-26 Sistema de medida e visualização virtual de óculos num cenário real
PCT/IB2014/064773 WO2015044866A1 (pt) 2013-09-26 2014-09-23 Sistema de medida e visualização virtual de óculos num cenário real

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PT107198A PT107198A (pt) 2013-09-26 2013-09-26 Sistema de medida e visualização virtual de óculos num cenário real

Publications (1)

Publication Number Publication Date
PT107198A true PT107198A (pt) 2015-03-26

Family

ID=51897397

Family Applications (1)

Application Number Title Priority Date Filing Date
PT107198A PT107198A (pt) 2013-09-26 2013-09-26 Sistema de medida e visualização virtual de óculos num cenário real

Country Status (2)

Country Link
PT (1) PT107198A (pt)
WO (1) WO2015044866A1 (pt)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1011006A1 (en) * 1997-05-16 2000-06-21 Hoya Corporation System for making spectacles to order
US20080074440A1 (en) * 2006-09-25 2008-03-27 Yiling Xie System and method of optimizing optical products through public communication network
EP2251734A1 (fr) * 2009-05-11 2010-11-17 ACEP France Procédé et système de sélection en ligne d'une monture de lunettes virtuelle

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6056301A (en) * 2000-05-18 2001-11-26 Visionix Ltd. Spectacles fitting system and fitting methods useful therein

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1011006A1 (en) * 1997-05-16 2000-06-21 Hoya Corporation System for making spectacles to order
US20080074440A1 (en) * 2006-09-25 2008-03-27 Yiling Xie System and method of optimizing optical products through public communication network
EP2251734A1 (fr) * 2009-05-11 2010-11-17 ACEP France Procédé et système de sélection en ligne d'une monture de lunettes virtuelle

Also Published As

Publication number Publication date
WO2015044866A4 (pt) 2015-06-18
WO2015044866A1 (pt) 2015-04-02

Similar Documents

Publication Publication Date Title
CN111031893B (zh) 用于确定与眼科装置相关联的至少一个参数的方法
TWI755671B (zh) 用於眼鏡之虛擬試戴系統及方法
JP6972105B2 (ja) 固定距離の仮想現実システムおよび拡張現実システムならびに方法
US7740355B2 (en) Device and method for determining optical parameters
PT106430A (pt) Sistema para medição da distância interpupilar usando um dispositivo equipado com um ecrã e uma câmara
US11550151B2 (en) Method of determining an eye parameter of a user of a display device
Nitschke et al. Corneal imaging revisited: An overview of corneal reflection analysis and applications
Canessa et al. Calibrated depth and color cameras for accurate 3D interaction in a stereoscopic augmented reality environment
KR102073460B1 (ko) 렌즈 시스템을 통한 드리프트 프리 눈 추적을 제공하는 머리 장착형 눈 추적 디바이스 및 방법
US10620454B2 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images
US10758124B2 (en) Device and method for distance determination and/or centering using corneal reflections
JP2019194702A (ja) 累進眼科用レンズの少なくとも1つの光学的設計パラメータを判断する方法
CN106415364A (zh) 立体渲染至眼睛位置
US10520751B2 (en) Apparatus and method for determining optical parameters
CA2961398C (en) Method for accurately determining optical parameters of a test subject in order to adapt a pair of eyeglasses to the test subject, and immobile video centering system
Plopski et al. Automated spatial calibration of HMD systems with unconstrained eye-cameras
Tong et al. Optical distortions in VR bias the perceived slant of moving surfaces
Wibirama et al. Design and implementation of gaze tracking headgear for Nvidia 3D Vision®
Lee et al. A calibration method for eye-gaze estimation systems based on 3D geometrical optics
US20230252721A1 (en) Determining display gazability and placement of virtual try-on glasses using optometric measurements
PT107198A (pt) Sistema de medida e visualização virtual de óculos num cenário real
TWI492174B (zh) 雲端體感虛擬實境配戴眼鏡系統
Bruder et al. Perceptual evaluation of interpupillary distances in head-mounted display environments
Zhou et al. Optical-path-difference analysis and compensation for asymmetric binocular catadioptric vision measurement
CA3088248A1 (en) Image generating device, eyeglass lens selection system, method for image generation and program

Legal Events

Date Code Title Description
BB1A Laying open of patent application

Effective date: 20131121