ES2605367T3 - Dispositivo de seguimiento ocular - Google Patents

Dispositivo de seguimiento ocular Download PDF

Info

Publication number
ES2605367T3
ES2605367T3 ES06701396.1T ES06701396T ES2605367T3 ES 2605367 T3 ES2605367 T3 ES 2605367T3 ES 06701396 T ES06701396 T ES 06701396T ES 2605367 T3 ES2605367 T3 ES 2605367T3
Authority
ES
Spain
Prior art keywords
eye
light
image
collimated
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES06701396.1T
Other languages
English (en)
Inventor
Ville Nummela
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Application granted granted Critical
Publication of ES2605367T3 publication Critical patent/ES2605367T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

Un dispositivo (700) para detectar la dirección de la mirada (α3, β3) de un ojo (100), comprendiendo dicho dispositivo (700) al menos: - una primera unidad de formación de imágenes (200) para adquirir una imagen (201) de dicho ojo 100, - al menos una unidad de iluminación (300) que comprende una óptica de colimación, configurada para proporcionar un primer haz de luz sustancialmente colimado (LB1), y un segundo haz de luz sustancialmente colimado (LB2), teniendo dichos haces de luz colimados (LB1, LB2) diferentes direcciones con respecto a dicho dispositivo (700) de manera que dicho primer haz de luz colimado (LB1) proporcione un primer punto de reflexión (G1) cuando se refleje luz desde la superficie del ojo (100), y de manera que dicho segundo haz de luz colimado (LB2) proporcione un segundo punto de reflexión (G2) cuando se refleje luz desde la superficie del ojo (100), apareciendo dichos puntos de reflexión (G1, G2) en dicha imagen (201), y - al menos un expansor de haz para expandir la anchura (WOUT) de los haces de luz colimados (LB1, LB2), y - una unidad de procesamiento de datos (600) para determinar la dirección de la mirada (α3, β3) del ojo (100) con respecto a dicho dispositivo (700), sobre la base de la posición de dicho primer punto de reflexión (G1) en dicha imagen (201), de la posición de dicho segundo punto de reflexión (G2) en dicha imagen (201), de la posición de la pupila (120) y/o del iris (110) del ojo (100) en dicha imagen (201) y de las direcciones de los haces de luz colimados (LB1, LB2).

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Dispositivo de seguimiento ocular Campo de la invencion
La presente invencion se refiere a la determinacion de la direccion de la mirada de un ojo.
Antecedentes de la invencion
La direccion de la mirada de una persona se puede utilizar para seleccionar opciones mostradas en una pantalla de ordenador. Por lo tanto, un dispositivo de seguimiento ocular que proporcione informacion sobre la direccion de la mirada puede utilizarse, por ejemplo, a modo de dispositivo de puntero y de seleccion en lugar de un raton de ordenador.
Cuando la luz incide en el ojo, se producen varias reflexiones en los limites del cristalino, la cornea y la retina. Estas reflexiones proporcionan puntos de reflexion conocidos como imagenes de Purkinje. La reflexion en la superficie corneal exterior proporciona la primera imagen de Purkinje, tambien denominada brillo. La orientacion del ojo puede determinarse en funcion de la posicion de la pupila, con respecto a la posicion de las primeras imagenes de Purkinje.
La Patente de Estados Unidos 4.836.670, que se considera representativa de la tecnica anterior mas relevante, da a conocer un detector del movimiento ocular, que utiliza un diodo emisor de infrarrojos que condensa su iluminacion en un haz paralelo, montado coaxialmente en frente de la lente de una camara sensible a los infrarrojos, para adquirir una imagen del ojo. La luz reflejada causa un destello desde la superficie de la cornea. Se analiza la imagen del ojo para determinar la ubicacion del centro de la pupila y la ubicacion del brillo, la una con respecto a la otra, y esta informacion se utiliza para determinar la direccion de la mirada.
El documento EP 942350 da a conocer, de acuerdo con su resumen, un dispositivo de introduccion de eje visual y de transferencia de decisiones. Cuando en funcion de los datos de posicion visual se juzga un estado del resultado de deteccion, tal como el exito o el fracaso de la deteccion visual del eje, el parpadeo, la seleccion de la misma eleccion, o similares, y un usuario recibe una notificacion con informacion del resultado de deteccion, indicativa del estado del resultado de deteccion en respuesta a un resultado de evaluacion, mediante el cambio del color de un marco de seleccion de caracteres, el usuario puede confirmar el resultado de la deteccion del eje visual y se evita tener que repetir muchas veces operaciones inutiles.
Sumario de la invencion
El objetivo de la presente invencion es proporcionar un metodo para determinar la direccion de la mirada. El objeto de la presente invencion tambien es proporcionar un dispositivo de seguimiento ocular, para determinar la direccion de la mirada. Un objetivo adicional de la presente invencion es proporcionar un dispositivo portatil que comprenda un dispositivo de seguimiento ocular. El objetivo de la presente invencion tambien es proporcionar un producto de programa informatico que implemente dicho metodo.
De acuerdo con un primer aspecto de la presente invencion, se proporciona un dispositivo de deteccion de la direccion de la mirada de un ojo, comprendiendo dicho dispositivo al menos:
- una unidad de formacion de imagenes para adquirir una imagen de dicho ojo,
- al menos una unidad de iluminacion que comprende una optica de colimacion, configurada para proporcionar un primer haz de luz sustancialmente colimado y un segundo haz de luz sustancialmente colimado, teniendo dichos haces de luz colimados diferentes direcciones con respecto a dicho dispositivo, de tal modo que dicho primer haz de luz colimado proporcione un primer punto de reflexion cuando la luz se refleje desde la superficie del ojo, y que dicho segundo haz de luz colimado proporcione un segundo punto de reflexion cuando la luz se refleje desde la superficie del ojo, apareciendo en dicha imagen dichos puntos de reflexion,
- al menos un expansor de haz, para expandir la anchura (Wout) de los haces de luz colimados (LB1, LB2), y
- una unidad de procesamiento de datos para determinar la direccion de la mirada del ojo con respecto a dicho dispositivo, en funcion de la posicion de dicho primer punto de reflexion en dicha imagen, en funcion de la posicion de dicho segundo punto de reflexion en dicha imagen, en funcion de la posicion de la pupila y/o del iris del ojo en dicha imagen, y en las direcciones de los haces de luz colimados.
De acuerdo con un segundo aspecto de la presente invencion, se proporciona un metodo para detectar la direccion de la mirada de un ojo, comprendiendo dicho metodo al menos:
- ampliar un primer haz de luz sustancialmente colimado, proporcionado la optica de colimacion, y un segundo haz de luz sustancialmente colimado, proporcionado por la optica de colimacion,
- dirigir el primer haz de luz sustancialmente colimado hacia el ojo, con el fin de proporcionar un primer punto de reflexion cuando la luz se refleje desde la superficie del ojo,
5
10
15
20
25
30
35
40
45
50
55
60
65
- dirigir el segundo haz de luz sustancialmente colimado hacia el ojo, con el fin de proporcionar un segundo punto de reflexion cuando la luz se refleje desde la superficie del ojo, teniendo dicho segundo haz de luz colimado una direccion diferente a la direccion de dicho primer haz de luz colimado,
- adquirir una imagen del ojo mediante una unidad de formacion de imagenes,
- determinar la direccion de la mirada de dicho ojo con respecto a dicha unidad de formacion de imagenes, en funcion de la posicion de dicho primer punto de reflexion en dicha imagen, en funcion de la posicion de dicho segundo punto reflexion en dicha imagen, en funcion de la posicion de la pupila y/o del iris del ojo en dicha imagen, y en funcion de las direcciones de los haces de luz colimados.
De acuerdo con un tercer aspecto de la presente invencion, se proporciona un dispositivo portatil que comprende el dispositivo del primer aspecto.
La determinacion de la direccion de la mirada es sustancialmente independiente de la distancia entre el ojo y el dispositivo de seguimiento. La determinacion tambien es sustancialmente independiente del movimiento lateral del ojo, y del tamano de los ojos. De este modo, el ojo se puede mover dentro de un area grande, es decir, no es necesario fijar la posicion del dispositivo de seguimiento con respecto a la cabeza del observador.
Las realizaciones de la invencion, y sus ventajas, resultaran mas evidentes para los expertos en la materia a traves de la description y ejemplos presentados a continuation en el presente documento, y tambien a traves de las reivindicaciones adjuntas.
Breve descripcion de los dibujos
En los siguientes ejemplos, se describiran con mas detalle las realizaciones de la invencion con referencia a los dibujos adjuntos, en los que
La Fig. 1 muestra esquematicamente la direccion de la mirada, con respecto a un sistema de coordenadas de referencia,
La Fig. 2 muestra esquematicamente un dispositivo de seguimiento ocular, para determinar la direccion de la mirada,
La Fig. 3 muestra esquematicamente la propagation de un rayo de luz a traves de la optica de formacion de imagenes,
La Fig. 4 muestra esquematicamente la reflexion de los rayos de luz desde la superficie corneal,
La Fig. 5a muestra esquematicamente una imagen del ojo, comprendiendo dicha imagen dos puntos de reflexion,
La Fig. 5b muestra de forma esquematica las posiciones angulares de los puntos de reflexion y del centro de la
pupila,
La Fig. 6 es un diagrama esquematico que muestra la reflexion de los rayos de luz desde la superficie corneal hacia la unidad de imagen,
La Fig. 7 es un diagrama esquematico que muestra triangulos relacionados con la determinacion de la direccion de la mirada,
La Fig. 8 es un diagrama esquematico que muestra vectores relacionados con la determinacion de la direccion de la mirada, en una situation general tridimensional,
La Fig. 9 muestra esquematicamente un dispositivo de seguimiento ocular que comprende dos unidades de iluminacion, basadas en lentes de colimacion,
La Fig. 10 muestra esquematicamente un dispositivo de seguimiento ocular que comprende una unidad de iluminacion, basada en lentes de colimacion,
La Fig. 11 muestra esquematicamente una unidad de iluminacion que comprende un expansor de haz difractivo y un emisor de IR,
La Fig. 12 muestra esquematicamente una unidad de iluminacion que comprende un expansor de haz difractivo, y dos emisores de IR,
La Fig. 13 muestra esquematicamente una unidad de pantalla virtual, que comprende un expansor de haz difractivo,
5
10
15
20
25
30
35
40
45
50
55
60
65
La Fig. 14 es una vista tridimensional esquematica de una unidad de pantalla virtual, que comprende un expansor de haz difractivo,
La Fig. 15 muestra esquematicamente un dispositivo de seguimiento ocular que comprende una pantalla virtual,
La Fig. 16 es una vista tridimensional esquematica de un dispositivo de seguimiento ocular que comprende una pantalla virtual,
La Fig. 17 muestra esquematicamente una imagen virtual vista a traves de una abertura de salida,
La Fig. 18 muestra esquematicamente una unidad de pantalla virtual, que comprende emisores de IR adicionales,
La Fig. 19 muestra, a modo de ejemplo, el posicionamiento de los emisores de IR con respecto a una micropantalla,
La Fig. 20 muestra esquematicamente una unidad de pantalla virtual, que comprende emisores de IR adicionales y espejo semirreflectante,
La Fig. 21 muestra esquematicamente el acoplamiento de un motor optico y de una unidad de iluminacion con un expansor de haz difractivo,
La Fig. 22 muestra esquematicamente dos expansores de haz difractivo apilados, uno mostrando una imagen virtual y el otro proporcionando haces de IR,
La Fig. 23 muestra esquematicamente una unidad de formacion de imagenes, adaptada para monitorizar el ojo a traves de un expansor de haz difractivo,
La Fig. 24 muestra esquematicamente un dispositivo de seguimiento ocular, que comprende una pantalla virtual, un expansor de haz difractivo, y espejo semirreflectante,
La Fig. 25 muestra esquematicamente un dispositivo de seguimiento ocular, que comprende una pantalla virtual y espejo semirreflectante,
La Fig. 26 muestra esquematicamente un dispositivo de seguimiento ocular, que comprende espejo semirreflectante y una pantalla remota que se mira a traves de dicho espejo semirreflectante,
La Fig. 27 muestra esquematicamente un dispositivo de rastreo ocular, que comprende espejo semirreflectante y objetos reales que miran a traves de dicho espejo semirreflectante,
La Fig. 28 muestra esquematicamente un dispositivo portatil que comprende un dispositivo de seguimiento ocular, y
La Fig. 29 es una vista esquematica tridimensional de un dispositivo de seguimiento ocular, que se utiliza como dispositivo de sobremesa.
Descripcion detallada
Con referencia a la Fig. 1, la direccion de la mirada GZD del ojo 100 puede estar definida por un angulo de mirada horizontal a3 y un angulo de mirada vertical p3, con respecto a la direccion SZ de un sistema de coordenadas de referencia. La direccion SY define la direccion vertical, y la direccion SX define la direccion horizontal del sistema de coordenadas de referencia.
La forma real del ojo 100 es ligeramente no esferica, pero la forma de la cornea se puede aproximar a una superficie esferica. En el presente documento, el centro O del ojo 100 se refiere al centro de una esfera de ajuste optimo, estando ajustada dicha esfera con la superficie de la cornea. En el presente documento, el radio R del ojo 100 se refiere al radio de dicha esfera de ajuste optimo.
La direccion de la mirada GZD esta definida por una linea que pasa por el centro O del ojo 100, y por el centro de ajuste optimo de la pupila 120. La pupila 120 esta rodeada por el iris 110. La determinacion del centro de ajuste optimo de la pupila tambien puede determinarse, parcial o totalmente, sobre la base de la ubicacion del iris 110.
Una linea de referencia REF es paralela a la direccion SZ del sistema de coordenadas de referencia. La posicion del ojo 100 se puede mover en las direcciones SX, SY y/o SZ. La linea de referencia REF no pasa, en general, a traves del centro 0 del ojo 100.
5
10
15
20
25
30
35
40
45
50
55
60
65
Unos objetos 1002, 1003 estan situados a una distancia considerable o infinita con respecto al ojo 100. Los objetos 1002, 1003 pueden ser objetos fisicos (por ejemplo, cuerpos), imagenes representadas en una pantalla de visualizacion remota, o imagenes virtuales mostradas en una pantalla virtual.
Se asume que se conocen las coordenadas angulares de los objetos 1002 y 1003 con respecto a un punto C de la linea de referencia REF, y que la distancia entre el ojo 100 y los objetos 1002, 1003 es grande en comparacion con la distancia entre el punto C y el centro del ojo O. La relacion entre las distancias puede ser igual o superior a diez, por ejemplo. Por lo tanto, los objetos 1002, 1003 pueden estar asociados a las direcciones de la mirada. En consecuencia, al conocer los angulos de mirada a3 y p3 se puede determinar cual es el objeto al que esta mirando el ojo 100, es decir, si el ojo 100 esta mirando a la estrella 1002 o al hexagono 1003.
Con referencia a la Fig. 2, los angulos de mirada a3 y p3 se determinan mediante un dispositivo de seguimiento ocular 700 que comprende una o mas unidades de iluminacion 300, y una unidad de formacion de imagenes 200 (en la Fig. 2 solo se muestra el angulo horizontal a3). Las unidades de iluminacion 300 proporcionan al menos dos haces de luz sustancialmente colimados LB1, LB2, que se dirigen hacia el ojo 100, y dichos haces LB1, LB2 presentan diferentes direcciones. La unidad de formacion de imagenes 200 proporciona una imagen del ojo 100.
La direccion del primer haz colimado LB1 puede identificarse mediante un angulo horizontal a1 y un angulo vertical p1 entre el haz LB1 y la linea de referencia REF. La direccion del segundo haz colimado LB2 puede identificarse mediante un angulo horizontal a2 y un angulo vertical p2 entre el haz LB2 y la linea de referencia REF (en la Fig. 2 no se muestran los angulos verticales p1 y p2). L2 indica la distancia entre la unidad de formacion de imagenes 200 y el ojo 100.
Con referencia a la Fig. 3, la unidad de formacion de imagenes 200 comprende una optica de formacion de imagenes 220 y un sensor de imagen 210, que puede ser, por ejemplo, un dispositivo de carga acoplada (CCD). La distancia d1 entre la optica de formacion de imagenes 220 y el sensor de imagen 210 es conocida, y por lo tanto los pixeles del sensor de imagen 210 pueden asociarse a las posiciones angulares de las respectivas caracteristicas. Por ejemplo, el centro de la pupila P se proyecta en un pixel que tenga una coordenada horizontal X3. El angulo ^3 entre la linea de referencia REF y la linea PC, desde el centro de la pupila P hasta el punto principal C de la optica de formacion de imagenes 220, puede determinarse sobre la base de la coordenada X3 del correspondiente pixel.
La unidad de formacion de imagenes 200 puede comprender un medio para el enfoque automatico. Las propiedades no ideales de la optica de formacion de imagenes 220 pueden causar la distorsion geometrica de la imagen 201. La distorsion puede corregirse opticamente y/o mediante procesamiento de senales.
Con referencia a la Fig. 4, el haz de luz LB1 se refleja desde la superficie corneal y proporciona una pluralidad de rayos reflejados, que se propagan en varias direcciones diferentes. La abertura de la unidad de formacion de imagenes 200 recibe un abanico estrecho de rayos de luz reflejados. Dicho abanico esta representado en este caso por un solo rayo NC, que es el promedio ponderado de dicho abanico. El rayo NC se refleja desde un punto de reflexion N sobre la superficie del ojo 100, hasta el punto C principal de la optica de formacion de imagenes 220.
Tambien el haz de luz LB2 se refleja desde la superficie corneal hacia la unidad de formacion de imagenes 200 (no mostrada en la Fig. 4, por favor vease la Fig. 6). Los rayos reflejados estan representados por un solo rayo MC que se refleja desde un punto de reflexion M, sobre la superficie del ojo 100, hasta el punto principal C de la optica de formacion de imagenes 220.
La Fig. 5a muestra una imagen 201 del ojo 100, adquirida por la unidad de formacion de imagenes 200. El primer haz colimado LB1 de luz se dirige hacia el ojo 100, de tal manera que la reflexion del primer haz LB1 proporciona un primer punto de reflexion G1 que aparece en la imagen 201. El segundo haz colimado LB2 de luz se dirige hacia el ojo 100, de tal manera que la reflexion del segundo haz LB2 proporciona un segundo punto de reflexion G2 que aparece en la imagen 201. Pueden aplicarse algoritmos de analisis de imagen para determinar las coordenadas X1, Y1, X2, Y2 de los puntos de reflexion G1, G2, y las coordenadas X3, Y3 de la pupila P en la imagen 201. Los puntos de reflexion G1, G2, es decir las primeras imagenes de Purkinje, deberian distinguirse de las otras imagenes de Purkinje originadas en el interior del ojo 100.
Cuando se cambia la direccion de la mirada, la pupila 120 se mueve con respecto los puntos de reflexion G1, G2.
Con referencia a la Fig. 5b, la posicion angular ^1, 81 del primer punto de reflexion N sobre la superficie del ojo 100, la posicion angular ^2, 82 del segundo punto de reflexion M, y la posicion angular ^3, 83 del centro de la pupila P pueden calcularse sobre la base de las coordenadas X1, Y1, X2, Y2, X3, Y3 (Fig. 5a), de acuerdo con el principio mostrado en la Fig. 3.
A continuacion se describe el algoritmo para determinar la direccion de la mirada, utilizando primero un enfoque bidimensional simplificado. Con referencia a la Fig. 6, el haz LB1 de luz se refleja desde el punto N, y el rayo reflejado NC incide sobre el punto principal C de la optica de la unidad de formacion de imagenes 200. El angulo de
5
10
15
20
25
30
35
40
45
50
incidencia y1 del haz LB1 con respecto a la normal N1 a la superficie es igual al angulo de reflexion y1 del rayo de luz NC, con respecto a la normal N1 a la superficie. Se puede deducir que:
imagen1
imagen2
El haz LB2 de luz se refleja desde un punto M, y el rayo reflejado MC incide sobre el punto principal C de la unidad de formacion de imagenes 200. El angulo de incidencia y2 del haz LB2 con respecto a la normal N2 a la superficie es igual al angulo de reflexion y2 del rayo de luz MC, con respecto a la normal N2 a la superficie. Se puede deducir que:
imagen3
y que:
r2 = 180°
<f>2 + a 2 2
(4)
En la Fig. 6 pueden identificarse los dos triangulos, es decir, el triangulo ONC y el triangulo OMC. Los triangulos tienen un lado comun OC, y la longitud de los lados ON y OM es igual al radio R del ojo 100. La posicion angular ^7 del centro del ojo O puede ahora determinarse sobre la base de los angulos t1 y t2, usando funciones trigonometricas, (por ejemplo, el teorema del seno) o calculos vectoriales.
Con referencia a la Fig. 7, pueden identificarse tres triangulos OPC, ONC y OMC. Los angulos ^5 y ^6 pueden calcularse cuando se conocen los angulos ^1, ^2 y ^7. El punto P es el centro de la pupila 120. El angulo a5 puede calcularse ahora sobre la base de los angulos t1 y ^5. Los triangulos OPC y ONC tienen un lado comun OC, y la longitud de los lados ON y OP es igual al radio R del ojo 100. El angulo a4 puede determinarse ahora sobre la base de los angulos t1 y t3 usando calculos trigonometricos (por ejemplo, el teorema del seno) o vectoriales. El angulo de mirada horizontal a3 puede calcularse ahora usando el angulo a4 y la posicion angular ^7 del centro del ojo O.
Con referencia a la Fig. 8, el vector OP correspondiente a los angulos de mirada a3 y p3 del ojo 100 se puede determinar, en una situacion tridimensional general, usando calculos vectoriales.
El primer haz colimado LB1 se refleja desde el punto N hasta el punto principal C de la optica de formacion de imagenes 200. El segundo haz colimado LB2 se refleja desde el punto M hasta el punto principal C. En el punto N, la normal a la superficie es N1 y en el punto H la normal a la superficie es N2. El vector de direccion de la primera normal N1 a la superficie es el promedio del vector de direccion del primer haz colimado LB1 y el vector de direccion de la linea CN. El vector de direccion de la segunda normal N2 a la superficie es el promedio del vector de direccion del segundo haz colimado LB2 y el vector de direccion de la linea CM.
Es probable que las normales N1, N2 a la superficie no se corten debido a imprecisiones de medicion, y debido a la forma ligeramente no esferica de la cornea. En ese caso, puede determinarse un vector GH auxiliar para encontrar una estimacion para el centro del ojo O. El vector auxiliar GH es el vector mas corto posible que conecta las normales N1, N2 a la superficie. El vector auxiliar GH es perpendicular a los vectores GN y MH. El vector auxiliar GH es paralelo al producto vectorial de los vectores NG y mG. El punto medio del vector auxiliar GH puede usarse como una estimacion para el centro del ojo O. La longitud del vector auxiliar GH puede usarse como una indicacion de la precision de la medicion. Ahora se conocen las direcciones de los vectores CN, NG, GH, HM y MC. Tambien se conocen la longitud de los vectores GN y HM, cuya longitud es igual al radio R del ojo 100. Las tres incognitas restantes, a saber, las longitudes de los vectores Cn, GH y MC, se pueden resolver sobre la base de la ecuacion vectorial, que establece que los cinco vectores deben hacer un recorrido cerrado:
CN + NG + GH + HM + MC = 0. (5)
La ecuacion (5) se ha escrito como un conjunto de tres ecuaciones lineales, una ecuacion de dicho conjunto corresponde a los componentes vectoriales en la direccion SX (Fig. 1), una corresponde a los componentes vectoriales en la direccion SY, y una corresponde a los componentes vectoriales en la direccion SZ. Hay tres incognitas y tres ecuaciones, a partir de las cuales se pueden calcular las incognitas.
5
10
15
20
25
30
35
40
45
50
55
60
65
Ahora se conocen las direcciones y las longitudes de los vectores CN, NG, GH, HM y MC en terminos del radio R del ojo.
La posicion del centro del ojo O se aproxima para que este en el punto medio del vector GH. La posicion del centro del ojo O tambien puede aproximarse mediante un punto que este en el vector GH. La posicion del centro del ojo O tambien puede aproximarse mediante un punto que este en el entorno del vector GH.
A continuacion, se calcula donde se cruza la linea CP con la superficie del ojo 100, que tiene el centro O y el radio R. El calculo proporciona dos soluciones. Se selecciona la solucion correspondiente a la longitud mas corta del vector CP, dado que la otra solucion corresponde a una ubicacion en el lado posterior del ojo 100.
Ahora se conocen la posicion del centro del ojo S y del centro de la pupila P, y la direccion del vector OP ofrece directamente a la direccion de la mirada.
En resumen, la determinacion de la direccion de la mirada comprende las siguientes etapas:
- determinar las posiciones angulares de los puntos de reflexion N, M en la superficie del ojo 100, sobre la base de las coordenadas de los puntos de reflexion G1, G2 en la imagen 201, adquirida por la unidad de formacion de imagenes 200,
- calcular las direcciones de las normales N1, N2 a la superficie en dichos puntos de reflexion N, M, sobre la base de las direcciones de los haces de luz colimados LB1, LB2 y las direcciones de los vectores CN y CM,
- determinar la direccion del vector auxiliar GH mediante el calculo del producto cruzado de los vectores de direccion de dichas normales N1, N2 a la superficie,
- calcular las longitudes de los vectores CN, CM y GH,
- aproximar la posicion del centro del ojo O mediante el punto medio de dicho vector auxiliar GH,
- determinar la direccion del vector CP en funcion de las coordenadas de la pupila y/o del iris en la imagen 201,
- calcular la posicion del centro de la pupila P, y
- calcular la direccion del vector OP, siendo dicha direccion la direccion de la mirada.
Con referencia a la Fig. 9, el dispositivo de seguimiento ocular 700 puede comprender dos unidades de iluminacion 300 para proporcionar los haces de luz sustancialmente colimados LB1, LB2. La optica de colimacion 330 colima la luz invisible emitida por los emisores 321,322 de luz infrarroja (IR), hacia el ojo 100.
La optica de colimacion 330 de las unidades de iluminacion 300 puede ser una combinacion optimizada de lentes. La optica de colimacion 330 puede comprender lentes de Fresnel. La orientacion de las unidades de iluminacion 300 puede ser fija o variable, con respecto a la unidad de formacion de imagenes 200. La luz emitida puede tener una longitud de onda visible pero pulsada, de tal manera que sea sustancialmente invisible. La luz emitida puede estar en la region UV (ultravioleta), de modo que sea invisible.
Con referencia a la Fig. 10, el dispositivo de seguimiento ocular 700 tambien puede comprender solo una unidad de iluminacion 300 pero dos emisores 321, 322, para proporcionar los haces de luz sustancialmente colimados LB1, LB2.
Con referencia a la Fig. 11, la anchura Win de un haz de luz colimado, proporcionado por una unidad de colimacion 310, puede ampliarse mediante un expansor de haz difractivo 400. Una rejilla de entrada 410 acopla la luz para que se propague en un sustrato de guia de ondas 405. La salida rejilla de 420 desacopla la luz del sustrato 405, para proporcionar el haz de luz colimado LB1. La anchura Wout del haz de salida puede ser sustancialmente mayor que la anchura inicial Win. Un expansor de haz difractivo se describe, por ejemplo, en la patente US 6.580.529. La unidad de colimacion 310 comprende uno o mas emisores 321 y una optica de colimacion 330.
Con referencia a la Fig. 12, pueden proporcionarse dos haces de luz colimados LB1, LB2 utilizando un solo expansor de haz difractivo 400.
Con referencia a la Fig. 13, una unidad pantalla virtual 500 puede comprender un motor optico 520 y un expansor de haz difractivo 400. El motor optico 520 comprende una micropantalla 510 y una optica de visualizacion 530. La anchura de la abertura de vision se incrementa sustancialmente mediante el acoplamiento del motor optico 520 con un expansor de haz difractivo 400.
La micropantalla 510 puede ser una matriz de diodos emisores de luz (LED), una matriz de cristal liquido (LCD), o un dispositivo de espejo micromecanico (MEMS).
La optica de visualizacion 530 convierte una imagen real, formada por los pixeles de la micropantalla 510, a una imagen virtual. Cada punto de la micropantalla 510 corresponde con un haz de luz colimado transmitido desde la rejilla de salida 420. Por lo tanto, el ojo 100 del observador visualiza una imagen virtual a una gran distancia o a una distancia infinita.
5
10
15
20
25
30
35
40
45
50
55
60
65
La unidad pantalla virtual 500 tambien puede actuar como la unidad de iluminacion 300. Pueden utilizarse unos p^xeles predeterminados 501, 502 de la micropantalla para proporcionar los haces de luz LB1, LB2 sustancialmente colimados y modulados. Los p^xeles 501, 501 pueden modularse de manera que la luz de los haces pueda distinguirse de otra luz. Los pixeles 501,502 pueden ser emisores de IR.
Con referencia a la Fig. 14, el expansor de haz difractivo comprende normalmente tres rejillas 410, 415 y 420. La de rejilla entrada 410 acopla luz con el sustrato de guia de ondas 405. La rejilla intermedia 415 proporciona una expansion de los haces en una primera direccion SX. La rejilla de salida 420 proporciona la expansion de los haces en una segunda direccion SY y desacopla los haces de luz LB1, LB2 desde el expansor de haz difractivo 400. La rejilla de salida 420 tambien actua como la abertura de visualization para la imagen virtual representada por el motor optico 520.
Cuando se utilizan unas rejillas difractivas planas 410, 420, la imagen virtual se forma a una distancia infinita. Sin embargo, la distancia entre la imagen virtual y el observador tambien puede ser mas corta que el infinito. Dicha distancia puede estar, por ejemplo, en el intervalo de 1 a 2 metros. Se pueden implementar distancias mas cortas que el infinito usando un expansor de haz difractivo curvado, dado a conocer en la solicitud de patente PCT/IB2004/004094. Dicho expansor de haz difractivo comprende al menos un elemento difractivo no plano, que tiene un radio de curvatura finito.
Con referencia a la Fig. 15, un dispositivo de seguimiento ocular 700 puede comprender:
- una unidad de iluminacion 300 para proporcionar los haces de luz sustancialmente colimados LB1, LB2,
- una unidad pantalla virtual 500,
- una unidad de formation de imagenes 200,
- una unidad de procesamiento de datos 600,
- una interfaz de comandos 610, y
- una unidad de comunicaciones 620.
La interfaz de comandos 610 puede ser un dispositivo de boton pulsador, una palanca de mando o un teclado, que permita a un usuario enviar comandos al dispositivo 700. La interfaz de comandos 610 tambien puede ser un dispositivo de comando por voz o un dispositivo de reconocimiento de gestos. La unidad de comunicaciones 620 puede ser un modulo de interfaz, para comunicarse con un ordenador o un dispositivo movil. La unidad de comunicaciones 620 tambien puede ser un transmisor/receptor optico o de radio frecuencia, que permita la comunicacion a traves de internet o de la red de radio.
Con referencia a la Fig. 16, el dispositivo de seguimiento ocular 700 puede ser un dispositivo compacto, portatil y ligero.
Con referencia a la Fig. 17, el ojo 100 del usuario puede ver una imagen virtual 1000 representada a traves de la abertura de salida de una pantalla virtual, por ejemplo, a traves de la rejilla de salida 420 del expansor de haz difractivo.
La imagen virtual 1000 puede comprender unos objetos representados 1002, 1003, 1003, 1005, por ejemplo una estrella 1002, un hexagono 1003, un simbolo de "OK" 1005 y un signo de interrogation "?" 1004.
Los objetos o las ubicaciones de la imagen virtual 1000 estan asociados ventajosamente a las direcciones de la mirada. Por lo tanto, cuando el ojo 100 esta mirando a un objeto o ubicacion decidido por el usuario, sobre la base de la direccion de la mirada se puede determinar a que objeto o ubicacion esta mirando el ojo. Adicionalmente, cada objeto o ubicacion puede estar asociado a una option, y el usuario puede seleccionar una option al mirar el respectivo objeto o ubicacion. El usuario puede confirmar la selection, por ejemplo, pulsando un boton de la interfaz de comandos 610 (Figs. 15 y 16). El usuario tambien puede confirmar la seleccion si parpadea el ojo, o si mira un objeto o ubicacion predeterminado durante un periodo prolongado.
Por ejemplo, el usuario puede elegir entre las opciones representadas por el objeto 1002 (estrella) o el objeto 1003 (hexagono), mediante el direccionamiento de su mirada. Si elige el hexagono 1003, puede proporcionar una retroalimentacion visual mediante el parpadeo, tras la seleccion. El usuario puede confirmar la seleccion, por ejemplo, si mira el simbolo "OK". Sin embargo, el usuario puede solicitar information adicional si mira el signo de interrogacion "?".
Los objetos 1002, 1003, 1004, 1005 de la imagen virtual 1000 pueden estar asociados a las direcciones de la mirada a nivel de software y/o de hardware, por ejemplo, mediante la conversion de las coordenadas de pixeles de los objetos en coordenadas angulares. Las coordenadas angulares de un objeto representado se pueden comparar con la direccion de la mirada, para determinar si el usuario esta o no esta mirando dicho objeto.
Un cursor 1001 visible o invisible puede estar adaptado para desplazarse sobre la imagen virtual 1000, siguiendo la direccion de la mirada determinada del ojo 100. El cursor 1001 ayuda al usuario a comprender que el dispositivo de
5
10
15
20
25
30
35
40
45
50
55
60
65
seguimiento 700 esta siguiendo realmente su mirada. En otras palabras, el cursor 1001 proporciona retroalimentacion visual al usuario.
La direccion de la mirada detectada puede calibrarse, por ejemplo, al mover un cursor parpadeante 1001 sobre la imagen virtual 1000, y al solicitar al usuario que mire el cursor 1001. Adicionalmente, puede solicitarse al usuario que pulse el boton de la interfaz de comandos 610 cuando este mirando realmente el cursor 1001.
Con referencia a las Figs. 18 y 19, pueden fijarse dos o mas emisores 321, 322 de luz infrarroja (IR) cerca de la micropantalla 510 de una unidad de pantalla virtual 500. De este modo la unidad de pantalla virtual 500 tambien puede actuar como la unidad de iluminacion 300, proporcionando dos o mas haces de luz sustancialmente colimados LB1, LB2.
La Fig. 19 muestra, a modo de ejemplo, el posicionamiento de los emisores IR 321, 322, 323, 324 con respecto al marco 511 de la micropantalla 510. Usando esta disposicion, la unidad de iluminacion 300 puede proporcionar tres, cuatro o mas haces de luz sustancialmente colimados, que se propaguen en diferentes direcciones. El tercer haz, y los haces adicionales, se propagan en una direccion que esta fuera del plano definido por las direcciones del primer haz LB1 y el segundo haz lB2. El uso de tres o mas haces puede proporcionar una mayor precision. La curvatura, es decir el radio, del ojo 100 puede ser diferente en las direcciones vertical y horizontal. Por lo tanto, el uso de tres o mas haces puede permitir corregir errores que se produzcan debido a la forma no esferica del ojo 100.
Con referencia a la Fig. 20, la luz de los emisores 321, 322 de luz infrarroja (IR) se puede combinar con la luz emitida desde la micropantalla 510, a traves de un espejo semirreflectante 350. El espejo semirreflectante 350 puede ser un espejo dicroico que transmita la luz visible y refleje la luz IR. El espejo semirreflectante 350 puede ser un espejo semitransparente o un espejo polarizante.
Con referencia a la Fig. 21, el motor optico 520 y la unidad de colimacion 310 pueden acoplarse lado a lado con el mismo expansor de haz difractivo 400.
Con referencia a la Fig. 22, los expansores de haz difractivos 400 se pueden apilar, de manera que la luz emitida por un primer expansor se transmita a traves de un segundo expansor, que sea al menos parcialmente transparente. El primer expansor puede emitir luz visible y el segundo expansor puede emitir luz IR.
Con referencia a la Fig. 23, el expansor de haz difractivo 400 puede ser parcialmente transparente. La unidad de formacion de imagenes 200 puede estar adaptada para controlar el ojo 100 a traves del expansor de haz difractivo 400.
Con referencia a la Fig. 24, un dispositivo de seguimiento ocular 700 puede comprender un espejo semirreflectante 350 para combinar la luz emitida por la unidad de pantalla virtual 500 con los haces de luz LB1, LB2, proporcionados por la una o mas unidades de iluminacion 300. La unidad de pantalla virtual 500 puede comprender un expansor de haz difractivo 400. Tambien las unidades de iluminacion 300 pueden comprender expansores de haz difractivos 400. El dispositivo de seguimiento 700 puede comprender adicionalmente una unidad de procesamiento de datos, una interfaz de comando 610, y una unidad de comunicaciones 620.
Con referencia a la Fig. 25, un dispositivo de seguimiento ocular 700 puede comprender un espejo semirreflectante 350, para combinar la luz emitida por la unidad de pantalla virtual 500 con los haces de luz colimados LB1, LB2. La imagen virtual y los haces de luz colimados LB1, LB2 pueden proporcionarse usando solo la optica de lente 530, 220, 330, es decir, sin usar expansores de haz difractivos.
Con referencia a la Fig. 26, el usuario tambien puede mirar una pantalla remota 900. La luz emitida por la pantalla remota 900 se puede combinar con los haces de luz colimados LB1, LB2, utilizando el espejo semirreflectante 350. El dispositivo de seguimiento ocular 700 puede comprender adicionalmente una unidad de procesamiento de datos, una interfaz de comandos 610, y una unidad de comunicaciones 620. La posicion del dispositivo de seguimiento 700 puede estar fija con respecto a la pantalla remota 900.
Alternativamente, el dispositivo de seguimiento 700 puede comprender una unidad de formacion de imagenes adicional 250, para controlar la posicion angular de la pantalla remota 900 con respecto al dispositivo de seguimiento 700. Esta informacion es necesaria para asociar la direccion de la mirada a una ubicacion en la pantalla remota 900. La unidad de formacion de imagenes adicional 250 tambien puede estar adaptada para controlar las posiciones angulares de los objetos que aparezcan en la pantalla 900, con respecto al dispositivo de seguimiento 700.
En lugar del espejo semirreflectante, el usuario tambien puede mirar a la pantalla 900 a traves de un expansor de haz 400, que sea transparente en el intervalo visible de las longitudes de onda.
Con referencia a la Fig. 27, el usuario tambien puede mirar unos objetos fisicos 1002 (una casa), 1003 (un coche) a traves del espejo semirreflectante 350. La posicion del dispositivo de seguimiento 700 puede estar fija con respecto a los objetos, o puede comprender una unidad de formacion de imagenes adicional 250 para monitorizar las
5
10
15
20
25
30
35
40
45
50
55
60
65
posiciones angulares de los objetos con respecto al dispositivo de seguimiento 700. As^ los objetos, las ubicaciones de los objetos, y/o las caracteristicas del paisaje pueden estar asociados a las direcciones de la mirada. Por ejemplo, se puede determinar si el usuario esta mirando la casa 1002 o el coche 1003. Adicionalmente, los objetos 1002, 1003 pueden estar asociados a las opciones, de tal manera que pueda seleccionarse una opcion si se mira el objeto en cuestion.
Con referencia a la Fig. 28, un dispositivo portatil 750 puede comprender un dispositivo de seguimiento ocular 700.
La distancia entre el ojo 100 y el dispositivo de seguimiento 700 puede ser inferior o igual a 0,2 m. La anchura de los haces de luz colimados LB1, LB2 puede ser superior o igual a 20 mm, para permitir la libertad de mover el dispositivo de seguimiento 700 con respecto al ojo 100. La anchura de los haces de luz colimados LB1, LB2 tambien puede ser superior o igual a 10 cm. El expansor de haz difractivo permite implementar haces anchos, sin aumentar considerablemente el tamano y el peso del dispositivo 700.
Con referencia a la Fig. 29, el dispositivo de seguimiento ocular 700 tambien puede utilizarse como dispositivo de sobremesa. El dispositivo de seguimiento ocular 700 se puede adaptar para que monitorice el ojo 100 a una distancia, que este, por ejemplo, en el intervalo de 0,5 a 1 m con respecto al ojo 100. El usuario puede mirar los objetos 1002, 1003, que pueden ser imagenes representadas en una pantalla de visualizacion 900 u objetos fisicos reales.
La direccion de la mirada determinada puede asociarse a uno de los objetos 1002, 1003, si se combina la informacion de direccion de la mirada con la posicion del ojo 100 con respecto al dispositivo de seguimiento 700. La asociacion no podra hacerse solo sobre la base de la direccion de la mirada a menos que los objetos 1002, 1003 esten lejos, en comparacion con la distancia entre el ojo 100 y el dispositivo de seguimiento 700. Puede necesitarse tambien la posicion del ojo 100 con el fin de efectuar la asociacion. La posicion horizontal y la posicion vertical del ojo, asi como la distancia del ojo 100 con respecto al dispositivo de seguimiento 700, se pueden determinar usando informacion de la distancia proporcionada por un monitor de distancia 260, y analizando la imagen proporcionada por la unidad de formation de imagenes 200. El monitor de la distancia puede ser, por ejemplo, un medidor optico de la distancia. La informacion de la posicion tambien puede obtenerse usando dos unidades de formacion de imagenes, y mediante determinando la distancia, la posicion horizontal y la posicion vertical mediante triangulacion, a partir de las imagenes del ojo adquiridas por dichas unidades de formacion de imagenes.
El ojo 100 del usuario puede visualizar uno de los objetos 1002, 1003. Se utiliza la informacion de direccion de la mirada, junto con las coordenadas de pixeles de los objetos y la posicion del ojo 100, para determinar cual es el objeto que el usuario esta mirando, por ejemplo, si el usuario esta mirando la estrella 1002 o el hexagono 1003 representados en la pantalla 900.
Cuando se utiliza como dispositivo de sobremesa, el dispositivo de seguimiento 700 puede comprender uno o mas expansores de haz 400 que tengan una abertura de salida amplia, a fin de permitir al usuario una libertad adecuada para mover la cabeza. Alternativamente, el dispositivo de seguimiento 700 puede comprender medios para cambiar las direcciones de los haces colimados LB1, LB2, de tal manera que incidan sobre los ojos 100 del usuario cuando el usuario mueva la cabeza. La informacion necesaria para seguir los movimientos de la cabeza puede obtenerse, por ejemplo, mediante el analisis de la imagen proporcionada por la unidad de formacion de imagenes 200.
El dispositivo de seguimiento ocular 700 puede ser, puede ser parte de, o puede usarse en combination con, un dispositivo seleccionado de la siguiente lista: un dispositivo portatil, un dispositivo con capacidades inalambricas de telecomunicacion, un dispositivo de formacion de imagenes, un escaner de imagenes, una camara digital, un telefono movil, una consola, un dispositivo de grabacion/reproduccion de musica (basado por ejemplo en el formato MP3), un transmisor o receptor de control remoto, un reloj de pulsera, una brujula, un dispositivo de monitorizacion del ritmo cardiaco, instrumentos medicos, aparatos para personas discapacitadas, un instrumento de medicion, un instrumento de medicion industrial, un dispositivo de control de procesos, un dispositivo de localization del blanco, un dispositivo de punteria, un dispositivo de navegacion, un asistente digital personal (PDA), un comunicador, un dispositivo portatil de Internet y un ordenador de mano. El dispositivo de seguimiento ocular 700 puede comprender una bateria, una unidad de telecomunicacion, dispositivos de audio y/o unidades de almacenamiento de datos. El dispositivo de seguimiento ocular 700 puede estar unido a un sombrero, gorra o casco.
El metodo de acuerdo con la presente invention tambien puede implementarse utilizando un producto de programa informatico. Pueden proporcionarse datos en bruto mediante un sistema que comprenda la unidad de formacion de imagenes 200 y los medios para proporcionar los haces de luz colimados LB1, LB2. Los datos en bruto pueden comprender la imagen completa 201 del ojo 100 o solo las coordenadas de los puntos de reflexion G1, G2 y de la pupila P. El producto de programa informatico comprende secciones de codigo de programa informatico almacenadas en un medio legible, que cuando se ejecuta a traves de un procesador 600 determina la direccion de la mirada sobre la base de los datos y las direcciones de los haces de luz LB1, LB2.
El producto de programa informatico puede ser, por ejemplo, un disco CD-ROM, o una tarjeta de memoria que comprenda dicho programa. Las secciones de codigo de programa informatico de dicho producto pueden
5
10
15
20
25
30
35
40
45
50
55
60
65
descargarse desde paginas web. El programa informatico puede instalarse, por ejemplo, en un ordenador portatil que este conectado con una unidad de formacion de imagenes 200.
La interfaz de usuario, por ejemplo de un ordenador o un dispositivo movil, puede basarse parcial o completamente en el seguimiento de la direccion de la mirada. El usuario puede dar ordenes a altas velocidades, dirigiendo su mirada. Por ejemplo, puede escribirse y procesarse texto si se seleccionan con la mirada letras, palabras o frases enteras representadas.
Cuando el dispositivo de seguimiento 700 esta fijado a un sombrero, la informacion de direccion de la mirada se puede combinar con informacion adicional sobre la posicion y/o la orientacion de la cabeza, con respecto al entorno. La posicion de la cabeza con respecto al entorno puede determinarse, por ejemplo, usando un GPS (Sistema de Posicionamiento Global), una brujula y/o una radiobaliza de referencia adaptados para enviar ultrasonidos, senales de seguimiento por infrarrojos o por radiofrecuencia.
El dispositivo de seguimiento ocular 700 puede adaptarse para representar visualmente imagenes virtuales de tal manera que el usuario pueda ver las imagenes virtuales representadas y tambien objetos fisicos reales, de forma sustancialmente simultanea. Ese tipo de dispositivo de seguimiento 700 puede usarse como parte de un sistema de realidad aumentada.
El dispositivo de seguimiento ocular 700 puede acoplarse con un equipo remoto. El procesamiento de senales asociado a la determinacion de la direccion de la mirada se puede llevar a cabo en un ordenador o unidad de procesamiento de datos remoto.
La unidad de pantalla virtual puede utilizarse para representar visualmente imagenes en movimiento o fijas, por ejemplo, una pelicula, fotografias, paginas web, diagramas y/o texto.
Las unidades de iluminacion 300 tambien pueden implementarse utilizando fuentes de luz, por ejemplo laseres, que emitan de manera inherente haces de luz colimados.
Los expansores de haz pueden basarse en una optica difractiva, en combinaciones de lentes, en prismas apilados y/o en medios espejos apilados.
El expansor de haz difractivo 400 puede implementarse usando patrones periodicos de relieve superficial. El expansor de haz difractivo 400 tambien puede ser un expansor de haz difractivo holografico, que comprenda variaciones periodicas de indice refractivo, a implementar mediante tecnicas de fabrication holograficas.
La solicitud de patente US2004/0062502 da a conocer un expansor de haz con una o mas interfaces de superficie para mejorar la uniformidad de color en el expansor de haz, por ejemplo, cuando expanda simultaneamente haces de luz roja, verde y azul.
La solicitud de patente PCT/FI2003/000948 da a conocer un elemento difractivo de rejilla de division, para equilibrar la eficiencia de difraccion con respecto a las variaciones en el angulo de incidencia. Dicho elemento puede usarse en el expansor de haz difractivo 400.
La micropantalla 510 puede ser una matriz bidimensional de modulation de la luz reflexiva, emisora o transmisiva. La micropantalla 510 puede ser una matriz de diodos emisores de luz (LED, OLED (diodo organico emisor de luz)), un conjunto de microespejos mecanicos (pantalla MEMS), o una matriz de celdas de cristal liquido (cristal liquido sobre silicio). La micropantalla 510 tambien se puede implementar usando haces de luz escaneados optomecanicamente, por ejemplo, utilizando un haz de luz modulada, que se desvie y/o desplace mediante espejos giratorios.
El dispositivo de seguimiento ocular 700 puede comprender dos pantallas virtuales adyacentes, una para el ojo izquierdo y una para el ojo derecho. Las pantallas virtuales pueden controlarse por separado, para representar visualmente imagenes virtuales tridimensionales. Cuando una persona mira una imagen tridimensional representada visualmente, se puede utilizar la diferencia entre la direccion de la mirada del ojo izquierdo y la direccion de la mirada del ojo derecho para proporcionar informacion de distancia relacionada con dicha imagen.
El dispositivo de seguimiento ocular 700 se puede adaptar para monitorizar por separado la direccion de la mirada de los ojos izquierdo y derecho. Cuando el usuario esta mirando un objeto remoto, se puede utilizar la diferencia entre la direccion de la mirada del ojo izquierdo y la direccion de la mirada del ojo derecho para proporcionar informacion de distancia relacionada con dicho objeto. Esta realization se puede usar en aplicaciones de realidad aumentada.
En los siguientes ejemplos tambien se ilustran aspectos adicionales de la invention:
5
10
15
20
25
30
35
40
45
50
55
60
65
Ejemplo 1: Un dispositivo (700) para detectar la direction de la mirada (a3, p3) de un ojo (100), comprendiendo dicho dispositivo (700) al menos:
- una primera unidad de formation de imagenes (200), para adquirir una imagen (201) de dicho ojo 100,
- al menos una unidad de iluminacion (300) para proporcionar un primer haz de luz sustancialmente colimado (LB1) y un segundo haz de luz sustancialmente colimado (LB2), teniendo dichos haces de luz colimados (LB1, LB2) diferentes direcciones con respecto a dicho dispositivo (700) de manera que dicho primer haz de luz colimado (LB1) proporcione un primer punto de reflexion (G1) cuando se refleje luz desde la superficie del ojo (100), y de manera que dicho segundo haz de luz colimado (LB1) proporcione un segundo punto de reflexion (G2) cuando se refleje luz desde la superficie del ojo (100), apareciendo dichos puntos de reflexion (G1, G2) en dicha imagen (201), y
- una unidad de procesamiento de datos (600) para determinar la direccion de la mirada (a3, p3) del ojo 100 con respecto a dicho dispositivo (700), sobre la base de la position de dicho primer punto de reflexion (G1) en dicha imagen (201), de la posicion de dicho segundo punto de reflexion (G2) en dicha imagen (201), de la posicion de la pupila (120) y/o del iris (110) del ojo (100) en dicha imagen (201) y de las direcciones de los haces de luz colimados (LB1, LB2).
Ejemplo 2: El dispositivo (700) de acuerdo con el ejemplo 1, que comprende adicionalmente al menos un expansor de haz para expandir la anchura (Wout) de los haces de luz colimados (LB1, LB2).
Ejemplo 3: El dispositivo (700) de acuerdo con el ejemplo 2, en el que dicho expansor de haz es un expansor de haz difractivo (400).
Ejemplo 4: El dispositivo (700) de acuerdo con el ejemplo 2 o 3, en el que dicha primera unidad de formacion de imagenes (200) esta adaptada para visualizar el ojo (100) a traves de dicho expansor de haz (400), que es al menos parcialmente transparente a las longitudes de onda de los haces de luz colimados (LB1, LB2).
Ejemplo 5: El dispositivo (700) de acuerdo con cualquiera de los anteriores ejemplos 1 a 4, en el que la anchura (Wout) del primer haz de luz colimado (LB1) es superior o igual a 20 mm.
Ejemplo 6: El dispositivo (700) de acuerdo con cualquiera de los anteriores ejemplos 1 a 5, en el que dicha unidad de iluminacion (300) comprende al menos un dispositivo semiconductor (321, 322) para emitir luz infrarroja invisible.
Ejemplo 7: El dispositivo (700) de acuerdo con cualquiera de los ejemplos anteriores 1 a 6, que comprende adicionalmente una unidad de pantalla virtual (500) para representar visualmente imagenes virtuales (1000).
Ejemplo 8: El dispositivo (700) de acuerdo con cualquiera de los anteriores ejemplos 1 a 7, que esta adaptado para asociar un objeto (1002, 1003) o una ubicacion a una direccion de la mirada.
Ejemplo 9: El dispositivo (700) de acuerdo con el ejemplo 8, que comprende adicionalmente espejo semirreflectante (350) adaptado para reflejar o transmitir dichos haces de luz colimados (LB1, LB2) hacia el ojo (100), en el que el ojo (100) puede visualizar dicho objeto (1002, 1003) y/o dicha ubicacion a traves de dicho espejo semirreflectante (350).
Ejemplo 10: El dispositivo (700) de acuerdo con el ejemplo 8 o 9, que comprende una unidad de formacion de imagenes adicional (250) para monitorizar la posicion angular de dicho objeto (1002, 1003), o la ubicacion con respecto a dicho dispositivo (700).
Ejemplo 11: El dispositivo (700) de acuerdo con cualquiera de los anteriores ejemplos 1 a 10, que comprende adicionalmente una interfaz de comandos (610) para enviar comandos a la unidad de procesamiento de datos (600), a fin de confirmar una selection de una option asociada a la direccion de la mirada determinada (a3, p3).
Ejemplo 12: El dispositivo de acuerdo con cualquiera de los ejemplos anteriores 1 a 11, que comprende adicionalmente medios (260) para determinar la distancia (L2) entre dicho ojo (100) y dicha primera unidad de formacion de imagenes (200).
Ejemplo 13: El dispositivo (700) de acuerdo con cualquiera de los anteriores ejemplos 1 a 12, que comprende adicionalmente medios para cambiar la direccion de dicho primer haz luz colimado (LB1) y/o la direccion de dicho segundo haz de luz colimado (LB2) con respecto a dicho dispositivo (700).
Ejemplo 14: Un metodo para detectar la direccion de la mirada (a3, p3) de un ojo (100), comprendiendo dicho metodo al menos:
- dirigir un primer haz de luz sustancialmente colimado (LB1) hacia el ojo (100), con el fin de proporcionar un primer punto de reflexion (G1) cuando la luz se refleje desde la superficie del ojo (100),
5
10
15
20
25
30
35
40
45
50
55
60
65
- dirigir un segundo haz de luz sustancialmente colimado (LB2) hacia el ojo (100), con el fin de proporcionar un segundo punto de reflexion (G2) cuando la luz se refleje desde la superficie del ojo (100), teniendo dicho segundo haz de luz colimado (LB2) una direction diferente a la direction de dicho primer haz de luz colimado (LB1),
- adquirir una imagen (201) del ojo (100) mediante una primera unidad de formation de imagenes (200),
- determinar la direccion de la mirada (a3, p3) de dicho ojo (100) con respecto a dicha primera unidad formacion de imagenes (200) sobre la base de la position de dicho primer punto de reflexion (G1) en dicha imagen (201), de la posicion de dicho segundo punto de reflexion (G2) en dicha imagen (201), de la posicion de la pupila (120) y/o del iris (110) del ojo (100) en dicha imagen (201) y de las direcciones de los haces de luz colimados (lB1, LB2).
Ejemplo 15: El metodo de acuerdo con el ejemplo 14, en el que al menos uno de dichos haces de luz colimados (LB1, LB2) se proporciona usando uno o mas expansores de haz difractivos (400).
Ejemplo 16: El metodo de acuerdo con el ejemplo 14 o 15, en el que la anchura (Wout) de los haces de luz colimados (LB1, LB2) es superior o igual a 20 mm.
Ejemplo 17: El metodo de acuerdo con cualquiera de los ejemplos anteriores 14 a 16, en el que la distancia (L2) entre la primera unidad de formacion de imagenes (200) y el ojo (100) es inferior o igual a 0,2 m.
Ejemplo 18: El metodo de acuerdo con cualquiera de los anteriores ejemplos 14 a 17, que comprende adicionalmente asociar un objeto (1002, 1003) o una ubicacion a una direccion de la mirada (a3, p3).
Ejemplo 19: El metodo de acuerdo con el ejemplo 18, que comprende adicionalmente determinar la posicion angular de dicho objeto (1002, 1003) o dicha ubicacion con respecto a dicha primera unidad de formacion de imagenes (200), sobre la base de una imagen de dicho objeto o ubicacion adquirida por una unidad de formacion de imagenes adicional (250).
Ejemplo 20: El metodo de acuerdo con cualquiera de los anteriores ejemplos 14 a 19, que comprende adicionalmente:
- representar visualmente una imagen virtual (1000), y
- asociar una ubicacion de dicha imagen virtual (1000) a una direccion de la mirada.
Ejemplo 21: El metodo de acuerdo con cualquiera de los anteriores ejemplos 14 a 20, que comprende adicionalmente seleccionar una option o un objetivo sobre la base de la direccion de la mirada detectada (a3, p3) de dicho ojo (100).
Ejemplo 22: El metodo de acuerdo con cualquiera de los anteriores ejemplos 14 a 21, que comprende adicionalmente variar la direccion de dicho primer haz de luz colimado (LB1) y/o la direccion de dicho segundo haz de luz colimado (LB2).
Ejemplo 23: El metodo de acuerdo con cualquiera de los anteriores ejemplos 14 a 22, en el que dicho primer haz colimado (LB1) y dicho segundo haz colimado (LB2) se proporcionan usando pixeles (501, 502) de una micropantalla (510).
Ejemplo 24: El metodo de acuerdo con cualquiera de los anteriores ejemplos 14 a 23, en el que dicho primer haz colimado (LB1) y dicho segundo haz colimado (LB2) se proporcionan usando dispositivos semiconductores emisores de luz (321, 322).
Ejemplo 25: El metodo de acuerdo con cualquiera de los anteriores ejemplos 14 a 24, que comprende adicionalmente enviar datos de imagen a una unidad de procesamiento de datos remota (600), y llevar a cabo dicha determination en la unidad de procesamiento de datos remota (600).
Ejemplo 26: Un dispositivo portatil (750) que comprende un dispositivo de seguimiento ocular para detectar una direccion de la mirada (a3, p3) de un ojo (100), comprendiendo dicho dispositivo de seguimiento (700) al menos:
- una primera unidad de formacion de imagenes (200), para adquirir una imagen (201) de dicho ojo 100,
- al menos una unidad de iluminacion (300) para proporcionar un primer haz de luz sustancialmente colimado (LB1) y un segundo haz de luz sustancialmente colimado (LB2), teniendo dichos haces de luz colimados (LB1, LB2) diferentes direcciones con respecto a dicho dispositivo (700) de manera que dicho primer haz de luz colimado (LB1) proporcione un primer punto de reflexion (G1) cuando se refleje luz desde la superficie del ojo (100), y de manera que dicho segundo haz de luz colimado (LB1) proporcione un segundo punto de reflexion (G2) cuando se refleje luz desde la superficie del ojo (100), apareciendo dichos puntos de reflexion (G1, G2) en dicha imagen (201), y
5
10
15
20
25
30
35
40
45
50
- una unidad de procesamiento de datos (600) para determinar la direccion de la mirada (a3, p3) del ojo 100 con respecto a dicho dispositivo (700), sobre la base de la posicion de dicho primer punto de reflexion (G1) en dicha imagen (201), de la posicion de dicho segundo punto de reflexion (G2) en dicha imagen (201), de la posicion de la pupila (120) y/o del iris (110) del ojo (100) en dicha imagen (201) y de las direcciones de los haces de luz colimados (LB1, LB2).
Ejemplo 27: El dispositivo portatil (750) de acuerdo con el ejemplo 26, que comprende adicionalmente
capacidades de comunicacion inalambrica.
Ejemplo 28: Un producto de programa informatico para determinar la direccion de la mirada (a3, p3) de un ojo
(100), sobre la base de datos proporcionados por un sistema que comprende:
- una primera unidad de formation de imagenes (200), para adquirir una imagen (201) de dicho ojo 100,
- medios de iluminacion para proporcionar un primer haz de luz sustancialmente colimado (LB1) y un segundo haz de luz sustancialmente colimado (LB2), teniendo dichos haces de luz colimados (LB1, lB2) diferentes direcciones con respecto a dicha unidad de formacion de imagenes (200), de manera que dicho primer haz de luz colimado (LB1) proporcione un primer punto de reflexion (G1) cuando se refleje luz desde la superficie del ojo (100), y de manera que dicho segundo haz de luz colimado (LB1) proporcione un segundo punto de reflexion (G2) cuando se refleje luz desde la superficie del ojo (100), apareciendo dichos puntos de reflexion (G1, G2) en dicha imagen (201), y
comprendiendo dicho producto de programa informatico unas secciones de codigo de programa informatico almacenadas en un medio legible, que cuando se ejecutan mediante un procesador (600) sirven para determinar la direccion de la mirada (a3, p3) de dicho ojo (100) con respecto a dicha unidad de formacion de imagenes (200) sobre la base de la posicion de dicho primer punto de reflexion (G1) en dicha imagen (201), de la posicion de dicho segundo punto de reflexion (G2) en dicha imagen (201), de la posicion de la pupila (120) y/o del iris (110) del ojo (100) en dicha imagen (201) y de las direcciones de los haces de luz colimados (LB1, LB2).
Ejemplo 29: El producto de programa informatico de acuerdo con el ejemplo 28, en el que dichas secciones de codigo de programa informatico son para:
- determinar la posicion angular de un primer punto de reflexion (N) y la posicion angular de un segundo punto de reflexion (M) sobre la superficie del ojo (100), sobre la base de las coordenadas de dichos dos puntos de reflexion (G1, G2),
- determinar la direccion de una primera superficie normal (N1) en dicho primer punto de reflexion (N) y una segunda superficie normal (N2) en dicho segundo punto de reflexion (M), sobre la base de las direcciones de dichos haces de luz colimados (LB1, LB2) y las direcciones de un primer vector (CN) y un segundo vector (CM), estando designado dicho primer vector (CN) por el punto principal (C) de dicha unidad de formacion de imagenes (200) y dicho primer punto de reflexion (N), y estando designado dicho segundo vector (CM) por el punto principal (C) de dicha unidad de formacion de imagenes (200) y dicho segundo punto de reflexion (M),
- determinar un tercer vector (GH) que sea sustancialmente perpendicular a dichas superficies normales (N1, N2),
- determinar las longitudes de dichos primer vector (CN), segundo vector (CM) y tercer vector (GH),
- aproximar la posicion del centro del ojo mediante un punto (O) sobre el tercer vector (GH), siendo dicho punto preferiblemente el punto medio del tercer vector (GH),
- determinar la direccion de un cuarto vector (CP) sobre la base de las coordenadas de la pupila y/o del iris en dicha imagen (201), estando designado dicho cuarto vector (CP) por el punto principal (C) de dicha unidad de formacion de imagenes (200) y el centro de pupila (P),
- determinar la posicion del centro de la pupila (P), y
- proporcionar la direccion de la mirada (a3, p3) sobre la base de la posicion de dicho centro de ojo aproximado (O) y el citado centro de pupila (P).

Claims (11)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    60
    65
    REIVINDICACIONES
    1. Un dispositivo (700) para detectar la direccion de la mirada (a3, p3) de un ojo (100), comprendiendo dicho dispositivo (700) al menos:
    - una primera unidad de formation de imagenes (200) para adquirir una imagen (201) de dicho ojo 100,
    - al menos una unidad de iluminacion (300) que comprende una optica de colimacion, configurada para proporcionar un primer haz de luz sustancialmente colimado (LB1), y un segundo haz de luz sustancialmente colimado (LB2), teniendo dichos haces de luz colimados (LB1, LB2) diferentes direcciones con respecto a dicho dispositivo (700) de manera que dicho primer haz de luz colimado (LB1) proporcione un primer punto de reflexion (G1) cuando se refleje luz desde la superficie del ojo (100), y de manera que dicho segundo haz de luz colimado (LB2) proporcione un segundo punto de reflexion (G2) cuando se refleje luz desde la superficie del ojo (100), apareciendo dichos puntos de reflexion (G1, G2) en dicha imagen (201), y
    - al menos un expansor de haz para expandir la anchura (Wout) de los haces de luz colimados (LB1, LB2), y
    - una unidad de procesamiento de datos (600) para determinar la direccion de la mirada (a3, p3) del ojo (100) con respecto a dicho dispositivo (700), sobre la base de la position de dicho primer punto de reflexion (G1) en dicha imagen (201), de la posicion de dicho segundo punto de reflexion (G2) en dicha imagen (201), de la posicion de la pupila (120) y/o del iris (110) del ojo (100) en dicha imagen (201) y de las direcciones de los haces de luz colimados (LB1, LB2).
  2. 2. El dispositivo (700) de acuerdo con la reivindicacion 1, en el que dicho expansor de haz es un expansor de haz difractivo (400).
  3. 3. El dispositivo (700) de acuerdo con las reivindicaciones 1 o 2, en el que dicha primera unidad de formacion de imagenes (200) esta adaptada para visualizar el ojo (100) a traves de dicho expansor de haz (400), que es al menos parcialmente transparente a las longitudes de onda de los haces de luz colimados (LB1, LB2).
  4. 4. El dispositivo (700) de acuerdo con cualquiera de las reivindicaciones anteriores 1 a 3, que comprende adicionalmente una unidad de pantalla virtual (500) para representar visualmente imagenes virtuales (1000).
  5. 5. El dispositivo (700) de acuerdo con cualquiera de las reivindicaciones anteriores 1 a 4, que esta adaptado para asociar un objeto (1002, 1003) o una ubicacion a una direccion de la mirada.
  6. 6. El dispositivo (700) de acuerdo con la reivindicacion 5, que comprende adicionalmente un espejo semirreflectante (350) adaptado para reflejar o transmitir dichos haces de luz colimados (LB1, LB2) hacia el ojo (100), en donde el ojo (100) puede visualizar dicho objeto (1002, 1003) y/o dicha ubicacion a traves de dicho espejo semirreflectante (350).
  7. 7. Un metodo para detectar la direccion de la mirada (a3, p3) de un ojo (100), comprendiendo dicho metodo al menos:
    - expandir un primer haz de luz sustancialmente colimado, proporcionado por una optica de colimacion, y un segundo haz de luz sustancialmente colimado, proporcionado por una optica de colimacion,
    - dirigir el primer haz de luz sustancialmente colimado (LB1) hacia el ojo (100), con el fin de proporcionar un primer punto de reflexion (G1) cuando la luz se refleje desde la superficie del ojo (100),
    - dirigir el segundo haz de luz sustancialmente colimado (LB2) hacia el ojo (100), con el fin de proporcionar un segundo punto de reflexion (G2) cuando la luz se refleje desde la superficie del ojo (100), teniendo dicho segundo haz de luz colimado (lB2) una direccion diferente a la direccion de dicho primer haz de luz colimado (LB1),
    - adquirir una imagen (201) del ojo (100) mediante una primera unidad de formacion de imagenes (200),
    - determinar la direccion de la mirada (a3, p3) de dicho ojo (100) con respecto a dicha primera unidad formacion de imagenes (200) sobre la base de la posicion de dicho primer punto de reflexion (G1) en dicha imagen (201), de la posicion de dicho segundo punto de reflexion (G2) en dicha imagen (201), de la posicion de la pupila (120) y/o del iris (110) del ojo (100) en dicha imagen (201) y de las direcciones de los haces de luz colimados (LB1, LB2).
  8. 8. El metodo de acuerdo con la reivindicacion 7, en el que al menos uno de dichos haces de luz colimados (LB1, LB2) se proporciona usando uno o mas expansores de haz difractivos (400).
  9. 9. El metodo de acuerdo con las reivindicaciones 7 u 8, que comprende adicionalmente asociar un objeto (1002, 1003) o una ubicacion a una direccion de la mirada (a3, p3).
  10. 10. El metodo de acuerdo con cualquiera de las reivindicaciones anteriores 7 a 9, que comprende adicionalmente:
    - representar visualmente una imagen virtual (1000), y
    - asociar una ubicacion de dicha imagen virtual (1000) a una direccion de la mirada.
  11. 11. El metodo de acuerdo con cualquiera de las reivindicaciones anteriores 7 a 10, en el que dicho primer haz colimado (LB1) y dicho segundo haz colimado (LB2) se proporcionan usando p^xeles (501, 502) de una micropantalla (510).
    5 12. Un dispositivo portatil (750) que comprende un dispositivo para detectar la direccion de la mirada de un ojo de
    acuerdo con la reivindicacion 1.
ES06701396.1T 2006-01-26 2006-01-26 Dispositivo de seguimiento ocular Active ES2605367T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2006/050043 WO2007085682A1 (en) 2006-01-26 2006-01-26 Eye tracker device

Publications (1)

Publication Number Publication Date
ES2605367T3 true ES2605367T3 (es) 2017-03-14

Family

ID=38308890

Family Applications (1)

Application Number Title Priority Date Filing Date
ES06701396.1T Active ES2605367T3 (es) 2006-01-26 2006-01-26 Dispositivo de seguimiento ocular

Country Status (5)

Country Link
US (1) US8360578B2 (es)
EP (1) EP1983884B1 (es)
CN (1) CN101336089A (es)
ES (1) ES2605367T3 (es)
WO (1) WO2007085682A1 (es)

Families Citing this family (210)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
US10261321B2 (en) 2005-11-08 2019-04-16 Lumus Ltd. Polarizing optical system
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
JP5115150B2 (ja) 2007-11-02 2013-01-09 ソニー株式会社 情報提示装置及び情報提示方法
US8662667B2 (en) 2007-12-21 2014-03-04 Carl Zeiss Meditec Ag Ophthalmologic visualization system
DE102007055919B4 (de) * 2007-12-21 2023-08-10 Carl Zeiss Meditec Ag Augen-Betrachtungssystem und Verfahren hierzu
WO2009094399A1 (en) 2008-01-22 2009-07-30 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
PL2242419T3 (pl) * 2008-02-14 2016-05-31 Nokia Technologies Oy Urządzenie i sposób określania kierunku spojrzenia
US20100045596A1 (en) * 2008-08-21 2010-02-25 Sony Ericsson Mobile Communications Ab Discreet feature highlighting
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
TW201017474A (en) 2008-09-03 2010-05-01 Koninkl Philips Electronics Nv Method of performing a gaze-based interaction between a user and an interactive display system
US7997723B2 (en) * 2008-12-31 2011-08-16 Nokia Corporation Display apparatus and device
CN102292017B (zh) * 2009-01-26 2015-08-05 托比股份公司 由光学基准信号辅助的对凝视点的检测
WO2010123934A1 (en) 2009-04-20 2010-10-28 The Arizona Board Of Regents On Behalf Of The University Of Arizona Optical see-through free-form head-mounted display
CN101872237B (zh) * 2009-04-23 2012-04-18 由田新技股份有限公司 瞳孔追踪方法与***及用于瞳孔追踪的校正方法与模组
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US20100321482A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
US9888335B2 (en) 2009-06-23 2018-02-06 Nokia Technologies Oy Method and apparatus for processing audio signals
US8308298B2 (en) 2009-06-24 2012-11-13 Carl Zeiss Meditec Ag Microscopy system for eye surgery
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
KR101313977B1 (ko) * 2009-12-18 2013-10-01 한국전자통신연구원 이동 단말기를 사용한 ｉｐｔｖ 서비스 제어 방법 및 시스템
KR101426936B1 (ko) * 2010-02-15 2014-08-07 웨이브라이트 게엠베하 다양한 기술 시스템의 좌표계들 간의 편차를 결정하는 방법
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
WO2011134169A1 (en) 2010-04-30 2011-11-03 Beijing Institute Of Technology Wide angle and high resolution tiled head-mounted display device
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
FR2972339B1 (fr) 2011-03-11 2013-04-19 Essilor Int Procede de determination de l'oeil directeur
WO2012136970A1 (en) 2011-04-07 2012-10-11 Milan Momcilo Popovich Laser despeckler based on angular diversity
US8854446B2 (en) * 2011-04-28 2014-10-07 Iristrac, Llc Method of capturing image data for iris code based identification of vertebrates
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
EP2581034B1 (en) * 2011-10-11 2016-02-17 Tobii AB Eye-tracker illumination
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
EP2995986B1 (en) 2011-08-24 2017-04-12 Rockwell Collins, Inc. Data display
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
EP2751609B1 (en) 2011-08-30 2017-08-16 Microsoft Technology Licensing, LLC Head mounted display with iris scan profiling
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
WO2013036237A1 (en) * 2011-09-08 2013-03-14 Intel Corporation Eye gaze based location selection for audio visual playback
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
KR101906424B1 (ko) * 2011-11-15 2018-12-10 엘지디스플레이 주식회사 이원 방식 홀로그래피 입체 영상 표시장치
CN102693022A (zh) * 2011-12-12 2012-09-26 苏州科雷芯电子科技有限公司 视觉跟踪与语音识别的鼠标***
CN102447858A (zh) * 2011-12-28 2012-05-09 彩虹集团公司 一种基于红外眼球跟踪技术的led背光控制方法
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
KR102264765B1 (ko) * 2012-01-24 2021-06-11 더 아리조나 보드 오브 리전츠 온 비핼프 오브 더 유니버시티 오브 아리조나 컴팩트한 시선추적 기능의 헤드 탑재형 디스플레이
US9734633B2 (en) 2012-01-27 2017-08-15 Microsoft Technology Licensing, Llc Virtual environment generating system
WO2013117999A1 (en) * 2012-02-06 2013-08-15 Sony Ericsson Mobile Communications Ab Gaze tracking with projector
CN106125308B (zh) 2012-04-25 2019-10-25 罗克韦尔柯林斯公司 用于显示图像的装置和方法
US9423870B2 (en) 2012-05-08 2016-08-23 Google Inc. Input determination method
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
CN104603717A (zh) * 2012-09-05 2015-05-06 Nec卡西欧移动通信株式会社 显示装置、显示方法以及程序
FI125445B (fi) * 2012-09-12 2015-10-15 Trividi Oy Katseenohjausjärjestely
EP2712541B1 (en) * 2012-09-27 2015-12-30 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Tiled image based scanning for head and/or eye position for eye tracking
CA2885563C (en) 2012-10-18 2021-02-09 The Arizona Board Of Regents On Behalf Of The University Of Arizona Stereoscopic displays with addressable focus cues
US9626072B2 (en) 2012-11-07 2017-04-18 Honda Motor Co., Ltd. Eye gaze control system
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9996150B2 (en) 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US9921648B2 (en) * 2013-02-22 2018-03-20 University Of Seoul Industry Cooperation Foundation Apparatuses, methods and recording medium for control portable communication terminal and its smart watch
DE102013003047A1 (de) 2013-02-22 2014-08-28 Audi Ag Verfahren und System zum blickrichtungsabhängigen Steuern einer Funktionseinheit
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US20140317200A1 (en) * 2013-04-17 2014-10-23 Nokia Corporation Method and Apparatus for a Textural Representation of a Notification
US10209517B2 (en) 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
TWI507762B (zh) * 2013-05-31 2015-11-11 Pixart Imaging Inc 眼球追跡裝置及其光學組件
US8988344B2 (en) * 2013-06-25 2015-03-24 Microsoft Technology Licensing, Llc User interface navigation
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
US10108258B2 (en) * 2013-09-06 2018-10-23 Intel Corporation Multiple viewpoint image capture of a display user
EP3048949B1 (en) * 2013-09-24 2019-11-20 Sony Interactive Entertainment Inc. Gaze tracking variations using dynamic lighting position
US9781360B2 (en) 2013-09-24 2017-10-03 Sony Interactive Entertainment Inc. Gaze tracking variations using selective illumination
US9480397B2 (en) 2013-09-24 2016-11-01 Sony Interactive Entertainment Inc. Gaze tracking variations using visible lights or dots
CN106132284B (zh) 2013-11-09 2019-03-22 深圳市汇顶科技股份有限公司 光学眼动追踪
TWI533224B (zh) * 2013-11-14 2016-05-11 原相科技股份有限公司 眼球偵測裝置、瞳孔偵測方法與虹膜辨識方法
TWI498769B (zh) * 2013-11-18 2015-09-01 Quanta Comp Inc 頭戴式顯示裝置及其登入方法
CN104657702B (zh) * 2013-11-25 2019-04-12 原相科技股份有限公司 眼球侦测装置、瞳孔侦测方法与虹膜辨识方法
WO2015081325A1 (en) * 2013-11-27 2015-06-04 Shenzhen Huiding Technology Co., Ltd. Eye tracking and user reaction detection
EP3080751B1 (en) 2013-12-09 2019-08-14 Apple Inc. Method for operating an eye tracking device and eye tracking device for providing an active power management
JP2015153302A (ja) * 2014-02-18 2015-08-24 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
CA2941655C (en) 2014-03-05 2021-03-09 Arizona Board Of Regents On Behalf Of The University Of Arizona Wearable 3d augmented reality display with variable focus and/or object recognition
CN103885589B (zh) * 2014-03-06 2017-01-25 华为技术有限公司 眼动追踪方法及装置
KR102212209B1 (ko) * 2014-04-10 2021-02-05 삼성전자주식회사 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체
US9454699B2 (en) * 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
US10188289B2 (en) 2014-06-20 2019-01-29 Rambus Inc. Systems and methods for lensed and lensless optical sensing
US9606354B2 (en) 2014-07-17 2017-03-28 Google Inc. Heads-up display with integrated display and imaging system
WO2016020632A1 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Method for holographic mastering and replication
WO2016042283A1 (en) 2014-09-19 2016-03-24 Milan Momcilo Popovich Method and apparatus for generating input images for holographic waveguide displays
WO2016046514A1 (en) 2014-09-26 2016-03-31 LOKOVIC, Kimberly, Sun Holographic waveguide opticaltracker
US10585485B1 (en) 2014-11-10 2020-03-10 Amazon Technologies, Inc. Controlling content zoom level based on user head movement
JP5824697B1 (ja) * 2014-12-27 2015-11-25 株式会社Ｆｏｖｅ ヘッドマウントディスプレイ
EP3245551B1 (en) 2015-01-12 2019-09-18 DigiLens Inc. Waveguide light field displays
CN111323867A (zh) 2015-01-12 2020-06-23 迪吉伦斯公司 环境隔离的波导显示器
CN107533137A (zh) 2015-01-20 2018-01-02 迪吉伦斯公司 全息波导激光雷达
US10176961B2 (en) 2015-02-09 2019-01-08 The Arizona Board Of Regents On Behalf Of The University Of Arizona Small portable night vision system
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
EP3062142B1 (en) * 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
IL303037A (en) * 2015-03-10 2023-07-01 Eyefree Assisting Communication Ltd A system and method of communication through visual feedback
WO2016146963A1 (en) 2015-03-16 2016-09-22 Popovich, Milan, Momcilo Waveguide device incorporating a light pipe
WO2016156776A1 (en) 2015-03-31 2016-10-06 Milan Momcilo Popovich Method and apparatus for contact image sensing
JP6877363B2 (ja) * 2015-05-19 2021-05-26 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 照明器
US10043281B2 (en) 2015-06-14 2018-08-07 Sony Interactive Entertainment Inc. Apparatus and method for estimating eye gaze location
WO2017015580A1 (en) 2015-07-23 2017-01-26 Artilux Corporation High efficiency wide spectrum sensor
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
US9954016B2 (en) 2015-08-04 2018-04-24 Artilux Corporation Germanium-silicon light sensing apparatus
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
CN115824395B (zh) 2015-08-27 2023-08-15 光程研创股份有限公司 宽频谱光学传感器
AU2016326384B2 (en) * 2015-09-23 2021-09-09 Magic Leap, Inc. Eye imaging with an off-axis imager
EP3359999A1 (en) 2015-10-05 2018-08-15 Popovich, Milan Momcilo Waveguide display
EP3369091A4 (en) * 2015-10-26 2019-04-24 Pillantas Inc. SYSTEMS AND METHODS FOR CONTROLLING CONVERGENT OCULAR MOVEMENTS
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US9785234B2 (en) * 2015-12-26 2017-10-10 Intel Corporation Analysis of ambient light for gaze tracking
CN105686835A (zh) * 2016-01-18 2016-06-22 张江杰 一种目光可视化的装置
EP3398007A1 (en) 2016-02-04 2018-11-07 DigiLens, Inc. Holographic waveguide optical tracker
JP6895451B2 (ja) 2016-03-24 2021-06-30 ディジレンズ インコーポレイテッド 偏光選択ホログラフィー導波管デバイスを提供するための方法および装置
JP6734933B2 (ja) 2016-04-11 2020-08-05 ディジレンズ インコーポレイテッド 構造化光投影のためのホログラフィック導波管装置
WO2018052590A2 (en) 2016-08-12 2018-03-22 Arizona Board Of Regents On Behalf Of The University Of Arizona High-resolution freeform eyepiece design with a large exit pupil
US10268268B1 (en) 2016-09-02 2019-04-23 Facebook Technologies, Llc Waveguide integrated eye tracking
KR102476897B1 (ko) 2016-10-05 2022-12-12 삼성전자주식회사 객체 추적 방법 및 장치, 및 이를 이용한 3d 디스플레이 장치
WO2018089329A1 (en) * 2016-11-10 2018-05-17 Magic Leap, Inc. Method and system for eye tracking using speckle patterns
US10459220B2 (en) * 2016-11-30 2019-10-29 North Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
EP3548939A4 (en) 2016-12-02 2020-11-25 DigiLens Inc. UNIFORM OUTPUT LIGHTING WAVEGUIDE DEVICE
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
CN108882845B (zh) * 2016-12-31 2022-05-03 鲁姆斯有限公司 基于经由光导光学元件的视网膜成像的眼动追踪器
US10168531B1 (en) 2017-01-04 2019-01-01 Facebook Technologies, Llc Lightfield waveguide integrated eye tracking
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
US11500143B2 (en) 2017-01-28 2022-11-15 Lumus Ltd. Augmented reality imaging system
US10690919B1 (en) 2017-02-17 2020-06-23 Facebook Technologies, Llc Superluminous LED array for waveguide display
WO2018173035A1 (en) 2017-03-22 2018-09-27 Lumus Ltd. Overlapping facets
WO2018186830A1 (en) * 2017-04-03 2018-10-11 Hewlett-Packard Development Company, L.P. Moving image rendering using eye-tracking sensor signal
US10185393B2 (en) * 2017-04-03 2019-01-22 Facebook Technologies, Llc Waveguide display with spatially switchable grating
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US10394034B2 (en) * 2017-08-15 2019-08-27 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and optical relay
CN116149058A (zh) 2017-10-16 2023-05-23 迪吉伦斯公司 用于倍增像素化显示器的图像分辨率的***和方法
EP3721320B1 (en) 2017-12-07 2022-02-23 Eyefree Assisting Communication Ltd. Communication methods and systems
US11280937B2 (en) 2017-12-10 2022-03-22 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
WO2019126331A1 (en) 2017-12-20 2019-06-27 Magic Leap, Inc. Insert for augmented reality viewing device
WO2019136476A1 (en) 2018-01-08 2019-07-11 Digilens, Inc. Waveguide architectures and related methods of manufacturing
JP7404243B2 (ja) 2018-01-08 2023-12-25 ディジレンズ インコーポレイテッド 導波管セル内のホログラフィック格子の高スループット記録のためのシステムおよび方法
JP6975341B2 (ja) 2018-02-23 2021-12-01 アーティラックス・インコーポレイテッド 光検出装置およびその光検出方法
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
WO2019178567A1 (en) 2018-03-15 2019-09-19 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
CN112088332A (zh) 2018-03-16 2020-12-15 迪吉伦斯公司 包含双折射控制的全息波导及用于它们的制造的方法
EP3769512A4 (en) 2018-03-22 2021-03-24 Arizona Board of Regents on Behalf of the University of Arizona METHOD FOR REPRESENTING LIGHT FIELD IMAGES FOR AN INTEGRAL IMAGE-BASED LIGHT FIELD DISPLAY
WO2019199691A1 (en) 2018-04-08 2019-10-17 Artilux, Inc. Photo-detecting apparatus
US10854770B2 (en) 2018-05-07 2020-12-01 Artilux, Inc. Avalanche photo-transistor
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
CN112236713B (zh) 2018-05-30 2023-01-24 奇跃公司 紧凑的可变聚焦配置
WO2019231850A1 (en) 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
WO2019236495A1 (en) 2018-06-05 2019-12-12 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
JP7421505B2 (ja) 2018-06-08 2024-01-24 マジック リープ， インコーポレイテッド 自動化された表面選択設置およびコンテンツ配向設置を用いた拡張現実ビューア
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
CN109947268A (zh) * 2018-07-04 2019-06-28 湖北民族学院 一种可用于智能终端的多功能表情鼠标
WO2020016772A1 (en) 2018-07-16 2020-01-23 Lumus Ltd. Light-guide optical element employing polarized internal reflectors
TWI676052B (zh) * 2018-07-16 2019-11-01 國立臺灣科技大學 遠紅外線照射器
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
JP7426982B2 (ja) 2018-07-24 2024-02-02 マジック リープ， インコーポレイテッド 移動検出デバイスの温度依存較正
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
EP3831058A4 (en) 2018-08-02 2022-04-20 Magic Leap, Inc. VIEWING SYSTEM WITH PUPILE DISTANCE COMPENSATION BASED ON HEAD MOVEMENT
CN112789544B (zh) 2018-08-03 2023-06-30 奇跃公司 图腾在用户交互***中的融合姿势的基于未融合姿势的漂移校正
US11003244B2 (en) * 2018-08-27 2021-05-11 University Of Rochester System and method for real-time high-resolution eye-tracking
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
TWM642752U (zh) 2018-11-08 2023-06-21 以色列商魯姆斯有限公司 用於將圖像顯示到觀察者的眼睛中的顯示器
CN117111304A (zh) 2018-11-16 2023-11-24 奇跃公司 用于保持图像清晰度的图像尺寸触发的澄清
US11409240B2 (en) 2018-12-17 2022-08-09 Meta Platforms Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a diffractive optical element
US11256213B2 (en) 2018-12-17 2022-02-22 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using an array of parabolic mirrors
US10942489B2 (en) 2018-12-17 2021-03-09 Facebook Technologies, Llc Wide-field holographic pattern generation for head-mounted display (HMD) eye tracking
US10948873B2 (en) 2018-12-17 2021-03-16 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a lens array
US10816809B2 (en) 2018-12-17 2020-10-27 Facebook Technologies, Llc Holographic in-field illuminator
US10838362B2 (en) 2018-12-17 2020-11-17 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a prism array
US11281160B2 (en) 2018-12-17 2022-03-22 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a fiber exposure
WO2020163603A1 (en) 2019-02-06 2020-08-13 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
WO2020168348A1 (en) 2019-02-15 2020-08-20 Digilens Inc. Methods and apparatuses for providing a holographic waveguide display using integrated gratings
CN113728258A (zh) 2019-03-12 2021-11-30 迪吉伦斯公司 全息波导背光及相关制造方法
CN113544766A (zh) 2019-03-12 2021-10-22 奇跃公司 在第一和第二增强现实观看器之间配准本地内容
CN111752383A (zh) * 2019-03-29 2020-10-09 托比股份公司 更新角膜模型
WO2020223636A1 (en) 2019-05-01 2020-11-05 Magic Leap, Inc. Content provisioning system and method
KR20220016990A (ko) 2019-06-07 2022-02-10 디지렌즈 인코포레이티드. 투과 및 반사 격자를 통합하는 도파관 및 관련 제조 방법
US11561399B2 (en) * 2019-07-05 2023-01-24 Samsung Electronics Co., Ltd. Fourier-beam shaper and display apparatus including the same
CN110338750B (zh) * 2019-07-08 2022-04-05 北京七鑫易维信息技术有限公司 一种眼球追踪设备
US11514673B2 (en) 2019-07-26 2022-11-29 Magic Leap, Inc. Systems and methods for augmented reality
CN114341729A (zh) 2019-07-29 2022-04-12 迪吉伦斯公司 用于使像素化显示器的图像分辨率和视场倍增的方法和设备
WO2021041949A1 (en) 2019-08-29 2021-03-04 Digilens Inc. Evacuating bragg gratings and methods of manufacturing
JP2023502927A (ja) 2019-11-15 2023-01-26 マジック リープ， インコーポレイテッド 外科手術環境において使用するための視認システム
IL270991B (en) 2019-11-27 2020-07-30 Lumus Ltd A light guide with an optical element to perform polarization mixing
TW202124997A (zh) 2019-12-05 2021-07-01 以色列商魯姆斯有限公司 採用互補塗覆的部分反射器的光導光學元件，以及具有減少的光散射的光導光學元件
JP2021148883A (ja) * 2020-03-17 2021-09-27 株式会社リコー 立体物の回旋角度検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、及び入力装置
JP7428028B2 (ja) 2020-03-17 2024-02-06 株式会社リコー 立体物の回旋角度検出装置、網膜投影表示装置、頭部装着型表示装置、検眼装置、及び入力装置
CN113827244B (zh) * 2020-06-24 2023-10-17 比亚迪股份有限公司 驾驶员视线方向的检测方法、监控方法、***和装置
JP2022035177A (ja) * 2020-08-20 2022-03-04 株式会社Ｊｖｃケンウッド 距離算出装置、距離算出方法及び距離算出プログラム
JP7421839B2 (ja) 2020-11-09 2024-01-25 ルーマス リミテッド Ａｒシステムにおける色補正された後方反射
US11796729B2 (en) 2021-02-25 2023-10-24 Lumus Ltd. Optical aperture multipliers having a rectangular waveguide
GB2608789B (en) * 2021-06-14 2024-02-07 Trulife Optics Ltd Optical system for eye tracking
JP2023138124A (ja) * 2022-03-18 2023-09-29 株式会社リコー 傾き検出装置、視線検出装置、ヘッドマウントディスプレイ、網膜投影型表示装置、検眼装置、ユーザ状態推定装置、運転支援システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3712716A (en) * 1971-04-09 1973-01-23 Stanford Research Inst Eye tracker
US4836670A (en) 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
US5100227A (en) * 1989-07-21 1992-03-31 Joseph Winocur Translation insensitive keratometer using moire deflectometry
JP2787488B2 (ja) * 1989-11-28 1998-08-20 旭光学工業株式会社 視線検出装置
US5270748A (en) * 1992-01-30 1993-12-14 Mak Technologies, Inc. High-speed eye tracking device and method
JPH06148513A (ja) * 1992-10-30 1994-05-27 Canon Inc 視線検出装置
US5481622A (en) * 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values
GB2315858A (en) 1996-08-01 1998-02-11 Sharp Kk System for eye detection and gaze direction determination
JPH11259226A (ja) * 1998-03-13 1999-09-24 Canon Inc 視線入力意思伝達装置、視線入力意思伝達方法および記憶媒体
AU3052499A (en) * 1998-04-02 1999-10-25 Elop Electro-Optics Industries Ltd. Holographic optical devices
US6873714B2 (en) 2002-02-19 2005-03-29 Delphi Technologies, Inc. Auto calibration and personalization of eye tracking system using larger field of view imager with higher resolution
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US6805490B2 (en) * 2002-09-30 2004-10-19 Nokia Corporation Method and system for beam expansion in a display device
SE524003C2 (sv) * 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
FI114946B (fi) 2002-12-16 2005-01-31 Nokia Corp Diffraktiivinen hilaelementti diffraktiohyötysuhteen tasapainottamiseksi

Also Published As

Publication number Publication date
US20110109880A1 (en) 2011-05-12
EP1983884A4 (en) 2010-03-03
WO2007085682A1 (en) 2007-08-02
EP1983884B1 (en) 2016-10-26
EP1983884A1 (en) 2008-10-29
CN101336089A (zh) 2008-12-31
US8360578B2 (en) 2013-01-29

Similar Documents

Publication Publication Date Title
ES2605367T3 (es) Dispositivo de seguimiento ocular
ES2562063T3 (es) Dispositivo y método para determinar la dirección de la mirada
JP7038713B2 (ja) 検出された特徴を用いた３ｄオブジェクトレンダリング
EP3721286B1 (en) Compact multi-color beam combiner using a geometric phase lens
WO2019126150A1 (en) Integrated augmented reality head-mounted display for pupil steering
US10599215B2 (en) Off-axis eye tracker
CN105212890B (zh) 眼睛***设备
US11587254B2 (en) Raycast calibration for artificial reality head-mounted displays
JP7356183B2 (ja) 小型反射部を用いたカメラモジュール及びこれを用いた拡張現実用光学装置
CN113454504B (zh) 使用衍射光学元件的用于头戴式显示器（hmd）眼睛跟踪的全息图案生成
US20060170615A1 (en) Pen type virtual display
JP7419471B2 (ja) 後方散乱レーザスペックルパターンのオプティカルフローの追跡
KR102252287B1 (ko) 소형 반사부를 이용한 카메라 모듈 및 이를 이용한 증강 현실용 광학 장치
JP2005092224A (ja) 小型ディスプレイ装置及び画像表示制御方法