ES2887976T3 - Compensación del radio de la pupila - Google Patents

Compensación del radio de la pupila Download PDF

Info

Publication number
ES2887976T3
ES2887976T3 ES18193092T ES18193092T ES2887976T3 ES 2887976 T3 ES2887976 T3 ES 2887976T3 ES 18193092 T ES18193092 T ES 18193092T ES 18193092 T ES18193092 T ES 18193092T ES 2887976 T3 ES2887976 T3 ES 2887976T3
Authority
ES
Spain
Prior art keywords
eye
pupil
angular deviation
pupil size
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18193092T
Other languages
English (en)
Inventor
Simon Johansson
Mark Ryan
Erik Linden
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Application granted granted Critical
Publication of ES2887976T3 publication Critical patent/ES2887976T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Un método que comprende: obtener un primer desvío angular (α1) entre una primera dirección ocular (DO1) y una primera dirección (DM1) de la mirada de un ojo (300) que tiene un primer tamaño (R1) de la pupila; obtener un segundo desvío angular (α2) entre una segunda dirección ocular (DO2) y una segunda dirección (DM2) de la mirada del ojo que tiene un segundo tamaño (R2) de la pupila; y formar, basándose en el primer desvío angular y en el segundo desvío angular, un modelo de compensación que describe un desvío angular (α) estimado en función del tamaño (R) de la pupila.

Description

DESCRIPCIÓN
Compensación del radio de la pupila
La siguiente descripción solo proporciona realizaciones ilustrativas, y no pretende limitar el alcance, la aplicabilidad ni la configuración de la descripción. Más bien, la siguiente descripción de las realizaciones ilustrativas proporcionará a los expertos en la técnica una descripción habilitante para implementar una o más realizaciones ilustrativas.
Por ejemplo, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de esa realización. De la misma manera, cualquier detalle analizado con respecto a una realización puede estar presente o no en todas las versiones contempladas de otras realizaciones analizadas en la presente memoria. Finalmente, la ausencia del análisis de cualquier detalle con respecto a la realización de la presente memoria será un reconocimiento implícito de que tal detalle puede estar presente o no en cualquier versión de cualquier realización analizada en la presente memoria.
En la siguiente descripción, se dan detalles específicos para proporcionar una comprensión completa de las realizaciones. Sin embargo, un experto en la técnica entenderá que las realizaciones pueden ponerse en práctica sin estos detalles específicos. Por ejemplo, los circuitos, sistemas, redes, procesos y otros elementos de la invención pueden mostrarse como componentes en forma de diagrama en bloque para no complicar las realizaciones con detalles innecesarios. En otros casos, los circuitos, procesos, algoritmos, estructuras y técnicas muy conocidos pueden mostrarse sin detalles innecesarios para evitar complicar las realizaciones.
Además, cabe señalar que las realizaciones individuales pueden describirse como un proceso que se ilustra como un flujograma, un diagrama de flujo, un diagrama de flujo de datos, un diagrama de estructura o un diagrama en bloque. Aunque un flujograma puede describir las operaciones como un proceso secuencial, muchas de las operaciones pueden realizarse en paralelo o al mismo tiempo. Además, se puede reorganizar el orden de las operaciones. Un proceso puede terminarse cuando se completen sus operaciones, pero podría tener etapas adicionales no analizadas o incluidas en una figura. Asimismo, no todas las operaciones de cualquier proceso particularmente descrito pueden ocurrir en todas las realizaciones. Un proceso puede corresponder a un método, una función, un procedimiento, una subrutina, un subprograma, etc. Cuando un proceso corresponde a una función, su terminación corresponde a un retorno de la función a la función de llamada o a la función principal.
La expresión “ medio legible por máquina” o similar incluye, pero no se limita a, dispositivos de almacenamiento transitorios y no transitorios, portátiles o fijos, dispositivos ópticos de almacenamiento, canales inalámbricos y otros diversos medios capaces de almacenar, contener o portar una o más instrucciones y/o datos. Un segmento de código o instrucciones ejecutables por máquina pueden representar un procedimiento, una función, un subprograma, un programa, una rutina, una subrutina, un módulo, un paquete de software, una clase o cualquier combinación de instrucciones, estructuras de datos o sentencias de programa. Un segmento de código puede acoplarse a otro segmento de código o a un circuito de hardware al pasar y/o recibir información, datos, argumentos, parámetros o contenido de memoria. La información, los argumentos, los parámetros, los datos, etc. pueden pasarse, enviarse o transmitirse a través de cualquier medio adecuado que incluye compartir la memoria, pasar el mensaje, pasar el identificador, transmisión de red, etc.
Además, las realizaciones de la invención pueden implementarse, al menos en parte, ya sea manual o automáticamente. Pueden ejecutarse implementaciones manuales o automáticas, o al menos asistidas, mediante el uso de máquinas, hardware, software, firmware, software personalizado, microcódigo, lenguajes descriptivos de hardware, o cualquier combinación de los mismos. Cuando se implementa en software, firmware, software personalizado o microcódigo, el código de programa o los segmentos de código para realizar las tareas necesarias pueden almacenarse en un medio legible por máquina. Uno o más procesadores pueden realizar las tareas necesarias.
La presente descripción se refiere en general al campo de seguimiento ocular. En particular, la presente descripción se refiere a métodos y sistemas para generar y/o utilizar información de seguimiento de la mirada que indica una dirección de la mirada de un ojo.
En la técnica, se conocen varias tecnologías diferentes de seguimiento ocular. Tales tecnologías pueden emplearse por ejemplo para permitir que un usuario indique una ubicación en un sistema de representación visual mirando hacia esa ubicación. El seguimiento ocular puede realizarse por ejemplo por medio de un sistema que captura imágenes del rostro del usuario y extrae características clave del rostro del usuario, tales como por ejemplo el centro de la pupila y los destellos de iluminadores que iluminan el rostro del usuario. Las características extraídas pueden emplearse después para determinar dónde está mirando el usuario en el sistema de representación. Naturalmente, se desean factores tales como la precisión, velocidad y fiabilidad/robustez del seguimiento ocular para lograr una experiencia positiva del usuario. Por lo tanto, se han propuesto varios esquemas para mitigar los efectos negativos de diferentes tipos de errores o imprecisiones que podrían ocurrir en los sistemas de seguimiento ocular.
Uno de tales ejemplos se describe en US-2010/0328444, que propone un oculómetro que incluye al menos un iluminador para iluminar un ojo, al menos dos cámaras para formar imágenes del ojo y un controlador. La configuración del uno o más iluminadores y de las cámaras es tal que al menos una cámara no es coaxial con un iluminador de referencia. El controlador está adaptado para seleccionar la cámara en función de un factor de calidad de la imagen. Al realizar repetidamente la selección de la cámara, el seguimiento ocular puede basarse en la una de las dos cámaras que produce la métrica de mejor calidad. De esta manera, el seguimiento ocular se vuelve menos vulnerable a perturbaciones tales como objetos que oscurecen la vista.
En WO2005046465 se refiere a un sistema y método para seguir la mirada en sujetos humanos o animales sin la calibración de cámaras, mediciones específicas de geometrías oculares ni el seguimiento de la imagen de un cursor en una pantalla por parte del sujeto a través de una trayectoria conocida. La realización preferida incluye una cámara no calibrada para capturar imágenes de video del/de los ojo/s del sujeto y que tiene, opcionalmente, un iluminador en eje, y una superficie, un objeto o una escena visual con marcadores de iluminador fuera del eje incorporados. Los marcadores fuera del eje se reflejan en la superficie de la córnea de los ojos del sujeto como destellos. Los destellos indican la distancia entre el punto de observación en la superficie, el objeto o la escena visual y el marcador correspondiente en la superficie, el objeto o la escena visual. Se determina que el marcador que hace que aparezca un destello en el centro de la pupila del sujeto está ubicado en línea con respecto al ojo del sujeto e interseca con el punto de observación. El punto de observación en la superficie, el objeto o la escena visual se calcula de la siguiente manera. En primer lugar, determinando qué destellos de los marcadores, según lo proporcionado por los reflejos corneales de los marcadores, están más cerca del centro de la pupila en uno cualquiera o ambos ojos del sujeto. Este subconjunto de destellos forma una Región De Interés (RDI). En segundo lugar, determinando el vector de la mirada (distancia angular o cartesiana relativa hasta el centro de la pupila) para cada uno de los destellos en la RDI. En tercer lugar, relacionando cada destello en la RDI con la ubicación o identificación (ID) de un marcador correspondiente en la superficie, el objeto o la escena visual observada por los ojos. En cuarto lugar, interpolando las ubicaciones conocidas de cada uno de estos marcadores sobre la superficie, el objeto o la escena visual, según la distancia angular relativa de sus destellos correspondientes hasta el centro de la pupila.
En WO2013067230 se proporcionan diversas realizaciones para controlar el brillo de un dispositivo de representación mixto transparente y cercano al ojo basándose en la intensidad de la luz en la que el usuario está mirando. La opacidad del sistema de representación puede alterarse, de manera que la luz externa se reduzca si el usuario está mirando un objeto brillante. Puede determinarse el tamaño de la pupila del usuario y utilizarse para ajustar el brillo utilizado para representar imágenes, así como la opacidad del sistema de representación. Puede determinarse un equilibrio adecuado entre la opacidad y el brillo utilizados para representar imágenes que permita que los objetos reales y virtuales se vean claramente, sin provocar daños ni incomodidad a los ojos del usuario.
Si bien tales tecnologías pueden proporcionar un seguimiento del ojo más robusto y preciso, persiste la necesidad de sistemas y métodos de seguimiento ocular mejorados.
Un objetivo de la presente descripción es proporcionar una tecnología que permita métodos, sistemas y dispositivos de seguimiento ocular que tengan un rendimiento mejorado. Los objetos adicionales y alternativos pueden entenderse a partir de los siguientes.
La presente descripción se refiere a una tecnología en la que puede obtenerse un desvío angular entre la dirección ocular y la dirección de la mirada del ojo de un usuario, p. ej., durante un procedimiento de calibración, y emplearse para el seguimiento posterior de los movimientos del ojo. La dirección ocular puede entenderse como un vector tridimensional definido por la posición relativa de la córnea y de la pupila del ojo. Por lo tanto, la dirección ocular puede entenderse como la dirección relativa del ojo en el espacio, y también puede denominarse eje óptico del ojo. Por otra parte, la dirección de la mirada puede entenderse como el eje visual, o la línea de visión, representados por un vector tridimensional definido por el punto de observación del usuario y la región foveal del ojo. La dirección de la mirada frecuentemente se desvía de la dirección ocular mediante un desvío angular que puede depender del ojo/sujeto. Por lo tanto, el desvío angular puede determinarse, p. ej., en un procedimiento de calibración, en el cual el usuario visualiza un patrón de calibración animado o estático que tiene uno o varios puntos (es decir, puntos de observación) que tienen una posición conocida o una trayectoria de movimiento, mientras que se mide la dirección ocular observando por ejemplo la ubicación de la pupila y los destellos de los iluminadores que iluminan el rostro del usuario el. A continuación, puede compararse la dirección ocular medida con la dirección de la mirada conocida del usuario que visualiza por ejemplo un patrón de calibración.
Por consiguiente, según un primer aspecto, se proporciona un método que comprende las etapas de obtener un primer desvío angular entre una primera dirección ocular y una primera dirección de la mirada de un ojo que tiene un primer tamaño de la pupila, obtener un segundo desvío angular entre una segunda dirección ocular y una segunda dirección de la mirada del ojo que tiene un segundo tamaño de la pupila, y formar, basándose en el primer desvío angular y el segundo desvío angular, un modelo de compensación que describe un desvío angular estimado en función del tamaño de la pupila.
Según un segundo aspecto, se proporciona un sistema que comprende un sistema de circuitos configurado para realizar las etapas del método según el primer aspecto, es decir, para obtener un primer desvío angular entre una primera dirección ocular y una primera dirección de la mirada de un ojo que tiene un primer tamaño de la pupila, obtener un segundo desvío angular entre una segunda dirección ocular y una segunda dirección de la mirada del ojo que tiene un segundo tamaño de la pupila, y formar, basándose en el primer desvío angular y el segundo desvío angular, un modelo de compensación que describe un desvío angular estimado en función del tamaño de la pupila.
La dirección ocular puede determinarse observando la posición de la pupila, tal como la ubicación del centro estimado de una pupila, en relación con el centro estimado de una córnea. Estas dos posiciones dan la dirección ocular o eje visual del ojo. Sin embargo, existe el problema de que a medida que el iris se dilata y se contrae, la pupila típicamente no se abre y se cierra por completo concéntricamente alrededor de un punto fijo del ojo. En otras palabras, la posición estimada del centro de la pupila puede variar con el tamaño de la pupila de una manera que puede depender del ojo o del sujeto. Como resultado, la dirección estimada del ojo y, por lo tanto, su desvío angular con respecto a la dirección de la mirada puede variar en función del tamaño de la pupila. Por lo tanto, formando un modelo de compensación que describe el desvío angular estimado en función del tamaño de la pupila, puede compensarse este efecto y mejorarse la precisión del seguimiento ocular. En particular, esto permite un seguimiento de la mirada que es menos sensible a errores y desviaciones asociadas con diversas condiciones de iluminación que afectan al tamaño de la pupila. Por lo tanto, el concepto de la presente invención es de particular interés en aplicaciones que utilizan por ejemplo brillo dinámico de representación (tal como, p. ej., aplicaciones de realidad virtual) o utilizadas en la iluminación ambiental (tal como, p. ej., aplicaciones de realidad aumentada).
En lo anterior, el modelo de compensación se basa en dos puntos medidos, es decir, el primer desvío angular para el primer tamaño de la pupila y el segundo desvío angular para el segundo tamaño de la pupila. Sin embargo, se aprecia que esto es simplemente un ejemplo ilustrativo, y que el modelo puede basarse igualmente en conjuntos de datos que comprenden dos o más puntos medidos. Además, el modelo de compensación puede actualizarse en procesos de calibración posteriores, teniendo en cuenta desvíos angulares adicionales asociados con tamaños de la pupila adicionales. Por lo tanto, la presente descripción no se limita a un modelo de compensación formado a partir de dos puntos de datos o formado en un punto específico en el tiempo. También puede ser un modelo dinámico que se actualice cada vez que se capturen datos relevantes o a petición de un usuario o proveedor.
Como ya se ha mencionado, el modelo de compensación puede utilizarse para mejorar el seguimiento de la mirada adaptando dinámicamente el cálculo de la dirección de la mirada al tamaño real de la pupila. Por consiguiente, según una realización, el método puede comprender además obtener una tercera dirección ocular del ojo que tenga un tercer tamaño de la pupila, y determinar, basándose en el modelo de compensación, un desvío angular estimado asociado con el tercer tamaño de la pupila. A continuación, este desvío angular puede utilizarse para determinar, basándose en la tercera dirección ocular, una tercera dirección de la mirada del ojo que tiene el tercer tamaño de la pupila. Por lo tanto, la presente realización puede representar el método o sistema durante el funcionamiento, es decir, cuando se utiliza la tecnología de seguimiento ocular para determinar la dirección de la mirada del usuario. En ese caso, las etapas descritas anteriormente para obtener la tercera dirección ocular y determinar la dirección de la mirada basándose en el desvío angular del tamaño en particular de la pupila, pueden realizarse repetidamente durante el funcionamiento.
Según algunas realizaciones, la primera dirección ocular y el primer tamaño de la pupila pueden obtenerse a partir de una primera imagen del ojo que tenga el primer tamaño de la pupila, en donde la segunda dirección ocular y el segundo tamaño de la pupila pueden obtenerse a partir de una segunda imagen del ojo que tenga el segundo tamaño de la pupila. En una realización, el método puede incluir las etapas de capturar la primera imagen y la segunda imagen del ojo. Estas imágenes pueden obtenerse, p. ej., de uno o varios sensores de imagen incluidos en el sistema, o de cualquier otra parte. El tamaño de la pupila en las respectivas imágenes puede determinarse como el tamaño de la pupila como se representa en la imagen o como el tamaño real de la pupila. El uso del tamaño real de la pupila es ventajoso, porque el tamaño puede no depender de la distancia entre el ojo y el sensor de imagen o la cámara.
Según una realización, la primera imagen se puede capturar a una primera intensidad de iluminación, y la segunda imagen, a una segunda intensidad de iluminación, diferente de la primera intensidad de iluminación. La intensidad de iluminación por ejemplo, puede cambiarse activamente cuando se captura la segunda imagen, por ejemplo al cambiar un brillo del sistema de representación, para obtener datos de calibración para diferentes tamaños de la pupila. Por lo tanto, el cambio de la intensidad de iluminación puede incluirse como una etapa activa de un proceso de calibración. En otro ejemplo, la captura de la segunda imagen puede activarse por un cambio predeterminado en la intensidad de iluminación, es decir, cuando se detecta un cambio predeterminado en la intensidad de iluminación o cuando se detecta un cambio predeterminado en el tamaño de la pupila.
Según una realización, la dirección ocular puede determinarse basándose en una posición relativa entre un centro estimado de la córnea y un centro estimado de la pupila. Esto se puede lograr por ejemplo iluminando el ojo con un iluminador, tal como, p. ej., un iluminador infrarrojo o infrarrojo cercano, que provoque al menos dos reflejos o destellos en el ojo. A continuación, se puede capturar una imagen bidimensional y analizarse para determinar las posiciones de la imagen en las que se ubican los reflejos. Si se supone que la córnea tiene una forma esférica, es decir, de modo que la parte de la superficie observada de la córnea puede aproximarse a un segmento de una esfera, las posiciones de los reflejos pueden utilizarse para obtener un centro esférico estimado de la córnea en el ojo. El centro estimado de la pupila puede obtenerse de una imagen del ojo, por ejemplo, basándose en el análisis de una imagen en el que el límite entre el iris y la pupila. La pupila, identificada en la imagen, puede proyectarse sobre un modelo de la córnea para determinar un centro estimado de la pupila en el ojo real. La primera dirección ocular y la segunda dirección ocular pueden determinarse después basándose en la ubicación del centro esférico estimado de la córnea y en una ubicación del centro estimado de la pupila.
La dirección de la mirada puede estar definida por un vector en el espacio que apunta al objeto que el usuario observa. En otras palabras, la dirección de la mirada puede definirse por el punto de observación y la posición de la región foveal de la retina. Según una realización, la primera dirección de la mirada y la segunda dirección de la mirada pueden determinarse basándose en el punto de observación del ojo y en la ubicación del centro esférico estimado de la córnea. Ventajosamente, el punto de observación puede ser un punto conocido en el espacio, tal como, p. ej., una estructura de calibración que tenga una ubicación conocida con respecto, p. ej., al sensor de imagen que visualiza el ojo.
La expresión “tamaño de la pupila” puede referirse al tamaño de la pupila como se representa en una imagen del ojo, o al tamaño real de la pupila o abertura del ojo definida por el iris. Sin embargo, también pueden concebirse otras definiciones, tales como el tamaño de la pupila captada cuando se proyecta sobre una esfera que representa la curvatura de la córnea o similares. Los píxeles del borde de la pupila en la imagen pueden utilizarse para estimar la posición del centro de la pupila, el borde de la pupila y el tamaño de la pupila (que, por ejemplo, pueden determinarse en términos de un radio de la pupila).
Según una realización, los datos de seguimiento de la mirada asociados con los ojos que tienen el primer tamaño de la pupila y el segundo tamaño de la pupila, respectivamente, pueden almacenarse en un área de almacenamiento. El área de almacenamiento puede, por ejemplo, formar parte del sistema descrito anteriormente o estar conectada de manera comunicativa al sistema, pero no incluida en el mismo. Al almacenarse los datos de seguimiento de la mirada, tales como, por ejemplo, imágenes de los ojos, a partir de los cuales se puede haber recuperado la dirección ocular y el tamaño de la pupila, estos datos pueden reutilizarse en la calibración posterior o el ajuste posterior del modelo de compensación. Los datos almacenados también podrían denominarse datos sin procesar.
Por consiguiente, según una realización, el método puede comprender las etapas adicionales de obtener un desvío angular adicional entre una dirección ocular adicional y una dirección de la mirada adicional del ojo que tenga un tamaño de la pupila adicional, y actualizar el modelo de compensación basándose en los datos de seguimiento de la mirada almacenados, el tamaño de la pupila adicional y el desvío angular adicional.
Según una realización, el sistema de seguimiento ocular puede comprender al menos un iluminador para iluminar el ojo, y al menos un sensor de imagen, o cámara, para capturar imágenes del ojo. El iluminador puede comprender, por ejemplo, al menos dos fuentes de luz, tales como diodos emisores de luz, dispuestas para generar al menos dos destellos en la córnea del ojo. La luz emitida por el iluminador puede ser, en algunos ejemplos, luz infrarroja o de infrarrojo cercano.
Según un tercer aspecto, se describe un dispositivo adaptado a ser usado por un usuario. El dispositivo puede ser, p. ej., auriculares de realidad virtual o un par de gafas de realidad aumentada. El dispositivo puede comprender al menos un iluminador para iluminar un ojo del usuario, al menos una cámara para capturar imágenes del ojo y un sistema de circuitos. El sistema de circuitos puede configurarse para obtener un primer desvío angular entre una primera dirección ocular y una primera dirección de la mirada del ojo que tiene un primer tamaño de la pupila, obtener un segundo desvío angular entre una segunda dirección ocular y una segunda dirección de la mirada del ojo que tiene un segundo tamaño de la pupila, y formar, basándose en el primer desvío angular y el segundo desvío angular, un modelo de compensación que describe un desvío angular estimado en función del tamaño de la pupila.
Las realizaciones del método del primer aspecto pueden realizarse mediante el sistema de cualquiera de las realizaciones del segundo aspecto, o mediante el dispositivo del tercer aspecto o mediante el sistema de circuitos comprendido en tales sistemas/dispositivos.
Según un cuarto aspecto, se describe un producto de programa informático que comprende una o más instrucciones ejecutables por ordenador que, cuando son ejecutadas por un sistema informático que implementa el procesamiento de datos oculares/de mirada, hacen que el sistema informático realice un método. El método puede ser, por ejemplo, el método según el primer aspecto.
Las realizaciones del uno o más medios de almacenamiento legibles por ordenador según el tercer aspecto pueden incluir, por ejemplo, características que corresponden a las características de cualquiera de las realizaciones del sistema según el segundo aspecto o el dispositivo según el tercer aspecto.
El uno o más medios legibles por ordenador pueden ser por ejemplo uno o más medios legibles por ordenador no transitorios.
Cabe señalar que las realizaciones de la invención se refieren a todas las combinaciones posibles de características mencionadas en las reivindicaciones.
Lo anterior, así como los objetivos, las características y las ventajas adicionales de la presente invención, se entenderán mejor a través de la siguiente descripción detallada ilustrativa y no limitante, con referencia a los dibujos adjuntos. En los dibujos, se utilizarán números de referencia iguales para elementos iguales salvo que se indique lo contrario.
La Fig. 1 muestra un sistema de seguimiento ocular según una realización de la presente invención.
La Fig. 2 muestra una imagen ilustrativa de un ojo.
La Fig. 3 es una vista en sección transversal de una parte de un ojo.
Las Figs. 4a y 4b son vistas en perspectiva de un ojo que tiene un primer tamaño de la pupila, teniendo el ojo un segundo tamaño de la pupila.
Las Figs. 5-7 son diagramas de flujo de métodos según realizaciones de la invención.
La Fig. 8 es un diagrama en bloque de un sistema informático especializado capaz de utilizarse en al menos alguna parte de los aparatos o sistemas de la presente invención, o implementar al menos alguna parte de los métodos de la presente invención.
Todas las figuras son esquemáticas y, generalmente, solo muestran partes que son necesarias para dilucidar las realizaciones respectivas, mientras que otras partes pueden omitirse o simplemente sugerirse.
La Fig. 1 muestra un sistema 100 de seguimiento ocular (que también puede denominarse sistema de seguimiento de la mirada) según una realización. El sistema 100 puede comprender iluminadores 111, 112 para iluminar un ojo de un usuario, y un sensor 113 de imagen (que también se puede denominar sensor de luz) para capturar imágenes del ojo del usuario. Los iluminadores 111, 112 pueden ser por ejemplo diodos emisores de luz que emiten luz en la banda de frecuencia del infrarrojo o en la banda de frecuencia del infrarrojo cercano. El sensor 113 de luz puede ser por ejemplo una cámara, tal como una cámara de complementary metal oxide semiconductor (semiconductor de óxido metálico complementario - CMOS) o una cámara con charged coupled device (dispositivo de carga acoplada -CCD).
Puede disponerse un primer iluminador 111 coaxialmente con el (o cerca del) sensor 113 de imagen, de manera que el sensor 113 de imagen pueda capturar imágenes de la pupila brillante del ojo del usuario. Debido a la disposición coaxial del primer iluminador 111 y del sensor 113 de imagen, la luz reflejada desde la retina del ojo regresa a través de la pupila hacia el sensor 113 de imagen, de manera que la pupila pueda parecer más brillante que el iris que la rodea en imágenes donde el primer iluminador 111 ilumina el ojo. Un segundo iluminador 112 se puede disponer no coaxialmente con el (o más lejos del) sensor 113 de imagen para capturar imágenes de pupilas oscuras. Debido a la disposición no coaxial del segundo iluminador 112 y del sensor 113 de imagen, la luz reflejada desde la retina del ojo no alcanza el sensor 113 de imagen, y la pupila puede parecer más oscura que el iris que lo rodea en imágenes donde el segundo iluminador 112 ilumina el ojo. Los iluminadores 111 y 112 pueden por ejemplo turnarse para iluminar el ojo, de manera que cada segunda imagen sea una imagen de la pupila brillante y cada segunda imagen sea una imagen de la pupila oscura.
El sistema 100 de seguimiento ocular puede comprender además un sistema 120 de circuitos (por ejemplo que incluya uno o más procesadores) para procesar las imágenes capturadas por el sensor 113 de imagen. El sistema 120 de circuitos puede estar conectado por ejemplo al sensor 113 de imagen y a los iluminadores 111, 112 mediante una conexión alámbrica o inalámbrica. En otro ejemplo, el sistema 120 de circuitos en forma de uno o más procesadores puede proporcionarse en una o más capas apiladas debajo de la superficie sensible a la luz del sensor 113 de imagen.
La Fig. 2 muestra un ejemplo de una imagen de un ojo 200, capturada por el sensor 113 de imagen según se describe en relación con el sistema 100 de la Figura 1. El sistema 120 de circuitos puede emplear por ejemplo procesamiento de imágenes (tal como procesamiento de imágenes digitales) para extraer características en la imagen. El sistema 120 de circuitos puede configurarse por ejemplo para estimar un tamaño de la pupila 210, p. ej., en términos de un radio, y la posición de un centro de la pupila. El sistema 120 de circuitos puede configurarse además para estimar la posición del centro de los destellos 120 provocados por el reflejo de la luz desde los iluminadores 111, 112, y calcular a partir de estas posiciones hacia donde está apuntando el ojo 200 del usuario. Dado que típicamente hay un desvío entre el centro óptico del ojo 200 y la fóvea, el procesador realiza la calibración del desvío de la fóvea para ser capaz de determinar dónde está mirando el usuario. Esto se describirá en mayor detalle con referencia a las Figuras 3 y 4.
En las realizaciones descritas con referencia a las Figuras 1 y 2, los iluminadores 111, 112 se pueden disponer en un módulo 110 de seguimiento ocular colocado debajo de un sistema de representación observado por el usuario. Esta disposición solo sirve como ejemplo. Se apreciará que, más o menos, puede emplearse cualquier número de iluminadores y sensores de imagen para el seguimiento ocular, y que tales iluminadores y sensores de imagen se pueden distribuir de muchas maneras diferentes con respecto al usuario y cualquier escena o sistema de representación observado por el usuario. Se apreciará que el esquema de seguimiento ocular descrito en la presente descripción puede emplearse por ejemplo para el seguimiento ocular remoto (por ejemplo en un ordenador personal, un teléfono inteligente o integrado en un vehículo) o para el seguimiento ocular portátil (tal como en gafas de realidad virtual o gafas de realidad aumentada).
Ahora se describirá un ejemplo de cómo determinar la dirección ocular y el desvío angular entre la dirección ocular y la dirección de la mirada con referencia a la Figura 3. La Fig. 3 muestra una sección transversal de diferentes partes de un ojo 300. La córnea 310 tiene una región central 311 que generalmente puede tener una curvatura tridimensional que puede ser cercana a la esférica y una región externa 312 que puede ser menos esférica. Por lo tanto, la córnea 310 puede aproximarse a una parte de la superficie de la esfera 330 (ilustrada por una línea discontinua en la presente figura), que tenga un punto 314 central y tridimensional estimado ubicado dentro del ojo. En otras palabras, al menos una parte de la superficie de la córnea del ojo puede aproximarse a una forma que puede inscribirse en, o adaptarse a, una parte de una superficie de una esfera imaginaria 330. El punto central también puede denominarse centro 314 esférico de la córnea y puede calcularse a partir de la posición de los destellos 220 sobre la superficie de la córnea. El centro 314 esférico de la córnea y la ubicación estimada del centro 350 de la pupila (también determinada a partir de datos de imagen) definen el eje óptico, también denominado Dirección Ocular DO del ojo 300. Como se ilustra en la Figura 3, el eje óptico DO puede extenderse desde la retina a través del centro 314 esférico de la córnea, el centro 350 de la pupila y la córnea. Como el eje óptico puede obtenerse a partir del centro 314 esférico estimado de la córnea y del centro 350 de la pupila, también puede variar a medida que varía la ubicación del centro 350 de la pupila.
Entretanto, el eje visual, también denominado Dirección DM de la Mirada, se extiende desde la fóvea 313, a través del centro 314 esférico de la córnea. Por lo tanto, el eje visual puede determinarse por la ubicación física de la parte foveal de la retina y la configuración de la córnea y, por lo tanto, puede ser menos sensible a las variaciones del tamaño y de la ubicación de la pupila. La orientación del eje visual, o la dirección DM de la mirada, puede determinarse durante la calibración del sistema, cuando el usuario observa un punto de observación que tiene una posición conocida.
Como se ilustra, el eje visual DM puede desviarse del eje óptico DO mediante un desvío angular a. Este desvío puede determinarse por medio de un proceso de calibración, en el que se compare la dirección DM de la mirada conocida con la dirección ocular DO. Aunque el ejemplo ilustrado muestra un desvío angular en el plano del papel, se comprenderá que el desvío también puede orientarse en una dirección normal a ese plano o en cualquier combinación de las mismas. Por consiguiente, el desvío angular a entre la dirección ocular DO y la dirección DM de la mirada puede estar representado por un vector que indique el desvío por ejemplo en las direcciones medial-lateral y craneal-caudal del globo ocular.
La Fig. 4a muestra vistas en perspectiva de un ojo 400 en donde la pupila 410 tiene un primer tamaño, o radio, R1. La Fig. 4b es una vista en perspectiva del mismo ojo 400 que tiene un segundo tamaño R2 de la pupila. El tamaño de la pupila puede variar, por ejemplo, con la intensidad de iluminación, donde se sabe que un aumento de la intensidad hace que el iris 410 se contraiga, y una reducción de la intensidad puede hacer que el iris 420 se dilate. Este es un efecto conocido para aplicaciones en las que el ojo se expone por ejemplo a la luz ambiental, tales como aplicaciones de realidad aumentada, o a un brillo dinámico de un sistema de representación.
La ubicación del centro 451, 452 de la pupila puede desplazarse con el cambio de tamaño de la pupila, lo que puede afectar a la dirección ocular DO estimada y, por consiguiente, al desvío angular utilizado para calcular la dirección DM la mirada. En las presentes figuras, el desplazamiento en la posición medial/lateral del centro de la pupila del ojo se indica por el desvío angular a1, a2, lo que sugiere que el centro de la pupila del presente ejemplo se desplaza hacia arriba (en la dirección craneal) con respecto a un punto central c del ojo a medida que el tamaño de la pupila se reduce desde el primer tamaño R1 hasta el segundo tamaño R2.
En la Figura 4a, el ojo 400 tiene un primer tamaño R1 de la pupila dilatada, con el primer desvío angular a1 entre la primera dirección ocular DO1 y la primera dirección DM1 de la mirada. Si la ubicación del centro 451 de la pupila se desplaza por ejemplo debido a una constricción del iris 410, la dirección ocular DO1 estimada puede cambiar como se ilustra en la Figura 4b, que muestra el ojo 400 que tiene un segundo tamaño R2 de la pupila contraída dando lugar a un segundo desvío angular a2 entre la segunda dirección ocular DO2 y la segunda dirección DM2 de la mirada. Por lo tanto, se observará que la primera y la segunda dirección ocular DO1, DO2 pueden diferir entre sí debido al desplazamiento en la posición central de la pupila, mientras que la primera y la segunda dirección DM1, DM2 de la mirada (que, en este ejemplo pueden estar definidas por el punto central c) pueden verse menos afectadas por el desplazamiento en la posición de la pupila. En algunos ejemplos, puede suponerse que la dirección DM1, DM2 de la mirada es la misma para ambos tamaños R1, R2 de la pupila.
Por consiguiente, el desplazamiento de la ubicación 451,452 del centro de la pupila puede producir un cambio en el desvío angular desde un primer desvío angular a1 hasta un segundo desvío angular a2. Esta relación permite la cartografía del desvío angular ai, a2 frente a diferentes tamaños R1, R2 de la pupila durante por ejemplo una calibración del sistema, es decir, cuando el usuario observa un punto en el espacio que tiene una ubicación conocida. Basándose en esta información, puede formarse un modelo de compensación que describe el desvío angular estimado en función del tamaño de la pupila. Alternativa o adicionalmente, se puede unir la intensidad de iluminación al desvío angular ai, a2 para formar un modelo similar del desvío en función de la intensidad de iluminación. Preferiblemente, tal modelo debe calibrarse para cada usuario individual, ya que se puede suponer que el iris de diferentes usuarios reacciona de manera diferente a diferentes intensidades de iluminación.
En un ejemplo, puede estimarse el desvío angular a para un tamaño de la pupila específico mediante una aproximación lineal. Dicho de otra manera, el desvío angular puede describirse mediante la siguiente expresión:
a(R) = kR + m
donde a es el desvío angular entre la dirección DM de la mirada y la dirección ocular DO, R es el radio de la pupila (preferiblemente obtenido a partir de una imagen del ojo) y k y m son constantes configuradas por ejemplo durante la calibración. El modelo puede determinarse basándose en al menos dos puntos medidos, p. ej., un primer y un segundo tamaño de la pupila, y un primer y segundo valor de desvío angular correspondiente. Sin embargo, se apreciará que la presente invención no se limita bajo ningún concepto a aproximaciones lineales basadas en dos mediciones. Pueden utilizarse otros modelos, tales como aproximaciones polinómicas de orden superior, junto con un conjunto de datos que comprenda tres o más tamaños de la pupila y desvíos angulares diferentes. La siguiente relación matemática es un ejemplo de un modelo polinómico de orden superior:
Figure imgf000008_0001
R es el radio de la pupila, n, el grado (u orden) polinómico, y a, el conjunto de parámetros determinado durante la calibración.
La Fig. 5 es un diagrama de flujo de un método según una realización de la presente invención. El método puede realizarse por ejemplo mediante el sistema 100 de seguimiento ocular descrito anteriormente con referencia a la Figura 1, o el sistema 120 de circuitos comprendido en el sistema 100 de seguimiento ocular.
El método comprende obtener 510 un primer desvío angular a1 entre una primera dirección ocular DO1 y una primera dirección DM1 de la mirada de un ojo 300 que tiene un primer tamaño R1 de la pupila; obtener 520 un segundo desvío angular a2 entre una segunda dirección ocular DO2 y una segunda dirección DM2 de la mirada del ojo 300 que tiene un segundo tamaño R2 de la pupila; y formar 530, basándose en el primer desvío angular a1 y el segundo desvío angular a2, un modelo de compensación que describe un desvío angular a estimado en función del tamaño R de la pupila.
El sistema 120 de circuitos del sistema 100 de seguimiento ocular puede realizar una o varias de las etapas anteriores 510, 520, 530. Se apreciará que el sistema 120 de circuitos puede estar integrado en una sola unidad o distribuido entre varias unidades físicamente distintas que pueden disponerse en diferentes ubicaciones. Por lo tanto, según un ejemplo, el primer y segundo desvíos angulares a1, a2 pueden obtenerse en una primera unidad de sistema de circuitos y, después, transmitirse a una segunda unidad de sistema de circuitos en la que se procesen los datos para formar el modelo de compensación.
El primer y segundo desvíos angulares a1, a2 pueden obtenerse a partir de datos de seguimiento de la mirada para el ojo 300 que a su vez pueden recuperarse de una imagen del ojo 300. Los datos de seguimiento de la mirada pueden comprender, p. ej., información a partir de la cual puedan obtenerse el centro 350 de la pupila, el tamaño R de la pupila (tal como, p. ej., radio o diámetro) y el centro 314 de la córnea preferiblemente, pero no necesariamente, de una manera similar a la descrita por ejemplo en relación con las Figuras 3a y b. Estas imágenes pueden obtenerse por ejemplo de un sensor de imagen, tal como una cámara, como se describe en relación con la Figura 1. El sensor de imagen se puede disponer para capturar imágenes del ojo 300 que reflejen los destellos de uno o varios iluminadores 111, 112. Las imágenes pueden capturarse a diferentes intensidades de iluminación, por ejemplo en diferentes condiciones de luz ambiental, para obtener información que represente diferentes tamaños R1, R2 de la pupila. En un ejemplo, las imágenes pueden obtenerse durante un procedimiento de calibración en el que el usuario observe posiciones conocidas por ejemplo sobre un sistema de representación. El procedimiento de calibración puede ser por ejemplo un procedimiento de calibración de nueve puntos, en el que el/los ojo/s del usuario se capture/n cuando el usuario observe cada uno de los nueve puntos separados físicamente sobre el sistema de representación.
La Fig. 6 es un diagrama de flujo de un método según una realización, que puede ser similar al método según la realización descrita con referencia a la Figura 5. En la presente realización, puede capturarse 612 una primera imagen, p. ej., mediante un sensor de imagen de un sistema según una realización similar a la descrita anteriormente en relación con la Figura 1, del ojo que tiene un primer tamaño R1 de la pupila. La imagen capturada puede analizarse para determinar 614 la primera dirección ocular DO1 basándose en la ubicación del centro 314 esférico estimado de la córnea y la ubicación del centro 350 estimado de la pupila, y para determinar 616 la primera dirección DM1 de la mirada basándose en un punto de observación conocido (por ejemplo, obtenido de un patrón de calibración) y el centro 314 esférico estimado de la córnea. Además, el tamaño R1 de la pupila puede determinarse 618 a partir de la misma imagen. La primera dirección DM1 de la mirada y la primera dirección ocular DO1 pueden utilizarse después para determinar 619 (p. ej., por medio de un procesador o sistema de circuitos) el desvío angular a1 entre las dos direcciones, y para asociar el desvío angular a1 con el tamaño R1 específico de la pupila del ojo cuando se capturó la imagen.
Las etapas anteriores 612-619 pueden repetirse para una segunda imagen del ojo, preferiblemente, que tiene un segundo tamaño R2 de pupila diferente del primer tamaño R1 de la pupila. Por lo tanto, el método puede comprender las etapas de capturar 622 una segunda imagen del ojo, analizar la segunda imagen para determinar 624 la segunda dirección ocular DO2 basándose en la ubicación del centro 314 esférico estimado de la córnea (esta ubicación puede determinarse basándose en la segunda imagen, o recuperarse de una medición previa, tal como, p. ej., datos de calibración almacenados previamente o de la primera imagen), y la ubicación del centro 350 estimado de la pupila (que puede suponerse que difiere del centro estimado de la pupila de la primera imagen, dado que el radio de la pupila varía entre las dos imágenes). Además, el método puede comprender las etapas de determinar 626 la segunda dirección DM2 de la mirada basándose en un punto de observación conocido (que puede ser el mismo punto que para la primera imagen, o un punto en el espacio diferente) y el centro 314 esférico estimado de la córnea. A continuación, puede determinarse 629 el desvío angular a2 entre la segunda dirección DM2 de la mirada y la segunda dirección ocular DO2 y asociarse con el segundo tamaño de la pupila R2, que puede determinarse 628 a partir de la misma imagen.
El primer desvío angular a1, el segundo desvío angular a2 y los tamaños R1, R2 de la pupila respectivos pueden utilizarse en una etapa posterior para formar 630 el modelo de compensación que describa el desvío angular a en función del tamaño R de la pupila. El modelo puede ser por ejemplo un modelo lineal, una aproximación polinómica o una curva s, o un conjunto de entradas de una tabla de búsqueda. El modelo puede almacenarse 640 en un área de almacenamiento del sistema, o enviarse a un área de almacenamiento a la que tiene acceso el sistema (o sistema de circuitos). El área de almacenamiento puede adaptarse además para almacenar 650 las imágenes utilizadas para obtener los desvíos angulares durante el procedimiento de calibración o para almacenar datos sin procesar recuperados de las imágenes para un uso posterior. En caso de obtenerse 660 un desvío angular adicional entre una dirección ocular adicional y una dirección de la mirada adicional del ojo, que tiene un tamaño de la pupila adicional, a partir de una imagen adicional del ojo, este desvío angular adicional puede emplearse para actualizar 670 el modelo de compensación basándose en los datos sin procesar almacenados previamente, el tamaño de la pupila adicional y el desvío angular adicional.
Por lo tanto, se apreciará que el concepto de la presente invención no se limita a métodos en donde solo se utilizan dos imágenes para determinar desvíos angulares, radios de la pupila y el modelo de compensación. Por el contrario, el modelo de compensación puede formarse basándose en datos de seguimiento ocular obtenidos a partir de tres o más imágenes y además puede actualizarse dinámicamente durante el uso del sistema de seguimiento ocular.
La Fig. 7 es un diagrama de flujo de un método según una realización, que puede ser similar a las realizaciones descritas en relación con las Figuras 5 y 6 anteriores. En consecuencia, el método puede comprender las etapas de obtener 710 un primer desvío angular a1 entre una primera dirección ocular DO1 y una primera dirección DM1 de la mirada de un ojo que tiene un primer tamaño R1 de la pupila, obtener 720 un segundo desvío angular a2 entre una segunda dirección ocular DO2 y una segunda dirección DM2 de la mirada del ojo cuando el ojo tiene un segundo tamaño R2 de la pupila, y formar 730, basándose en el primer desvío angular a1 y el segundo desvío angular a2, un modelo de compensación del desvío angular a estimado en función del tamaño R de la pupila para el ojo.
En una parte posterior del método, el modelo de compensación puede emplearse para seguir la mirada durante el uso. Por lo tanto, el método según la presente realización puede comprender las etapas adicionales de obtener 740 una tercera dirección ocular DO3, determinar 742 el tamaño R3 de la pupila y utilizar el modelo de compensación para determinar 750 el desvío angular a asociado con el tamaño R3 de la pupila determinado. A continuación, puede utilizarse el desvío angular a para calcular 760 la tercera dirección DM3 de la mirada del ojo. Las etapas descritas anteriormente, es decir, las etapas de obtener 740 la tercera dirección ocular, determinar el tamaño 742 de la pupila, determinar el desvío angular 750 y aplicar el desvío a la tercera dirección ocular DO3 para obtener el tercer punto de observación DM3 pueden realizarse repetidamente para lograr un seguimiento activo de la mirada durante el uso del sistema.
La Fig. 8 es un diagrama en bloque que ilustra un sistema 800 informático especializado en el que pueden implementarse realizaciones de la presente invención. Este ejemplo ilustra un sistema 800 informático especializado tal como el que puede utilizarse, en su totalidad, en parte o con diversas modificaciones, para proporcionar las funciones de los componentes descritos en la presente memoria.
Se muestra un sistema 800 informático especializado que comprende elementos de hardware que pueden acoplarse eléctricamente a través de un bus 890. Los elementos de hardware pueden incluir uno o más unidades 810 de procesadores centrales, uno o más dispositivos 820 de entrada (p. ej., un ratón, un teclado, un dispositivo de seguimiento ocular, etc.) y uno o más dispositivos 830 de salida (p. ej., un dispositivo de sistema de representación, una impresora, etc.). El sistema 800 informático especializado también puede incluir uno o más dispositivos 840 de almacenamiento. A modo de ejemplo, el/los dispositivo/s 840 de almacenamiento puede/n ser unidades de disco, dispositivos de almacenamiento ópticos, dispositivos de almacenamiento en estado sólido tales como una random access memory (memoria de acceso aleatorio “ RAM” ) y/o una read-only memory (memoria de solo lectura - “ ROM” ), que pueden ser programables, actualizables por flash y/o similares.
El sistema 800 informático especializado puede incluir además un lector 850 de medios de almacenamiento legibles por ordenador, un sistema 860 de comunicaciones (p. ej., un módem, una tarjeta de red (inalámbrica o alámbrica), un dispositivo de comunicación de infrarrojos, un dispositivo Bluetooth™, un dispositivo de comunicación celular, etc.) y una memoria 880 de trabajo, que puede incluir dispositivos RAM y ROM como se ha descrito anteriormente. En algunas realizaciones, el sistema 800 informático especializado puede incluir además una unidad 870 de aceleración del procesamiento, que puede incluir un procesador de señales digitales, un procesador de finalidad especial y/o similares.
El lector 850 de medios de almacenamiento legibles por ordenador puede conectarse además a un medio de almacenamiento legible por ordenador, representando juntos (y, opcionalmente, en combinación con el/los dispositivo/s 840 de almacenamiento) de manera comprensible dispositivos de almacenamiento remotos, locales, fijos y/o extraíbles más medios de almacenamiento para contener de manera temporal y/o más permanente información legible por ordenador. El sistema 860 de comunicaciones puede permitir que los datos se intercambien con una red, un sistema, un ordenador y/u otro componente descrito anteriormente.
El sistema 800 informático especializado puede comprender además elementos de software, que se muestran actualmente ubicados dentro de una memoria 880 de trabajo, que incluye un sistema operativo 884 y/u otro código 888. Debe apreciarse que realizaciones alternativas del sistema 800 informático especializado pueden tener numerosas variaciones con respecto a las descritas anteriormente. Por ejemplo, también podría utilizarse hardware personalizado y/o podrían implementarse elementos particulares en hardware, software (incluido software portátil, tal como applets) o ambos. Además, también puede producirse la conexión a otros dispositivos informáticos, tales como dispositivos de entrada/salida de red y de captación de datos.
El software del sistema 800 informático especializado puede incluir código 888 para implementar cualquiera o la totalidad de las funciones de los diversos elementos de la arquitectura como se describe en la presente memoria. Por ejemplo, software, almacenado en y/o ejecutado por un sistema informático especializado tal como el sistema 800 informático especializado, puede proporcionar las funciones de los componentes de la invención tales como las descritos anteriormente. Los métodos implementables mediante software en algunos de estos componentes se han descrito anteriormente con mayor detalle.
El experto en la técnica es consciente de que la presente invención no se limita de ninguna manera a las realizaciones preferidas descritas anteriormente. Por el contrario, varias modificaciones y variaciones son posibles dentro del alcance de las reivindicaciones adjuntas. Por ejemplo, el experto en la técnica es consciente de que los métodos de seguimiento ocular/de la mirada descritos en la presente descripción se pueden realizar mediante muchos otros sistemas de seguimiento ocular/de la mirada distintos al sistema 100 de seguimiento ocular/de la mirada que se muestra en la Figura 1, por ejemplo utilizando varios iluminadores y varias cámaras.
De forma adicional, los expertos en la técnica pueden comprender y efectuar la variación de las realizaciones descritas al poner en práctica la invención reivindicada, a partir de un estudio de los dibujos, la descripción y las reivindicaciones adjuntas. En las reivindicaciones, la expresión “que comprende” no excluye otros elementos o etapas, y el artículo indefinido “ un” o “ una” no excluye una pluralidad. La división de tareas entre unidades funcionales a las que se hace referencia en la presente descripción no corresponde necesariamente a la división en unidades físicamente distintas; por el contrario, un componente físico puede tener múltiples funcionalidades, y una tarea puede ser llevada a cabo de manera distribuida por varios componentes físicos en cooperación. Se puede almacenar/distribuir un programa informático en un medio no transitorio adecuado, tal como un medio de almacenamiento óptico o un medio en estado sólido suministrado junto con o como parte de otro hardware, pero también puede distribuirse de otras formas, tales como a través de Internet u otros sistemas de telecomunicaciones alámbricos o inalámbricos.
El mero hecho de que determinadas medidas/características se mencionen en reivindicaciones dependientes diferentes entre sí no indica que una combinación de estas medidas/características no pueda utilizarse ventajosamente. No es necesario que las etapas del método se realicen en el orden en el que aparecen en la reivindicación o en las realizaciones descritas en la presente memoria, a menos que se describa explícitamente que se requiere un orden determinado. No deberá interpretarse que cualquier signo de referencia en las reivindicaciones está limitando el alcance.
Se describe un método que comprende obtener un primer desvío angular entre una primera dirección ocular y una primera dirección de la mirada de un ojo que tiene un primer tamaño de la pupila, obtener un segundo desvío angular entre una segunda dirección ocular y una segunda dirección de la mirada del ojo que tiene un segundo tamaño de la pupila, y formar, basándose en el primer desvío angular y el segundo desvío angular, un modelo de compensación que describe un desvío angular estimado en función del tamaño de la pupila. También se describen un sistema y un dispositivo que comprenden un sistema de circuitos configurado para realizar tal método.

Claims (15)

REIVINDICACIONES
1. Un método que comprende:
obtener un primer desvío angular (a1) entre una primera dirección ocular (DO1) y una primera dirección (DM1) de la mirada de un ojo (300) que tiene un primer tamaño (R1) de la pupila; obtener un segundo desvío angular (a2) entre una segunda dirección ocular (DO2) y una segunda dirección (DM2) de la mirada del ojo que tiene un segundo tamaño (R2) de la pupila; y formar, basándose en el primer desvío angular y en el segundo desvío angular, un modelo de compensación que describe un desvío angular (a) estimado en función del tamaño (R) de la pupila.
2. El método según la reivindicación 1, que comprende además:
obtener una tercera dirección ocular que tiene un tercer tamaño de la pupila;
determinar, basándose en el modelo de compensación, un desvío angular estimado asociado con el tercer tamaño de la pupila; y
determinar, basándose en la tercera dirección ocular y en el desvío angular estimado asociado con el tercer tamaño de la pupila, una tercera dirección de la mirada del ojo.
3. El método según la reivindicación 1, en donde:
la primera dirección ocular y el primer tamaño de la pupila se obtienen a partir de una primera imagen del ojo que tiene el primer tamaño de la pupila; y
la segunda dirección ocular y el segundo tamaño de la pupila se obtienen a partir de una segunda imagen del ojo que tiene el segundo tamaño de la pupila.
4. El método según la reivindicación 3, que comprende además capturar la primera imagen del ojo y capturar la segunda imagen del ojo.
5. El método según la reivindicación 4, en donde la primera imagen se captura a una primera intensidad de iluminación y la segunda imagen se captura a una segunda intensidad de iluminación, diferente de la primera intensidad de iluminación.
6. El método según la reivindicación 1, en donde la primera dirección ocular y la segunda dirección ocular se determinan basándose en una ubicación de un centro esférico estimado de la córnea y una ubicación de un centro de la pupila estimado del ojo que tiene el primer y el segundo tamaño de la pupila, respectivamente.
7. El método según la reivindicación 1, en donde la primera dirección de la mirada y la segunda dirección de la mirada se determinan basándose en una ubicación de un centro esférico estimado de la córnea y un punto de observación del ojo que tiene el primer y el segundo tamaño de la pupila, respectivamente.
8. El método según la reivindicación 1, que comprende:
determinar, basándose en una imagen del ojo que tiene el primer tamaño de la pupila y una imagen del ojo que tiene el segundo tamaño de la pupila, el tamaño real de la pupila respectiva.
9. El método según la reivindicación 1, que comprende:
almacenar datos de seguimiento de la mirada asociados con el ojo que tiene el primer tamaño de la pupila y el segundo tamaño de la pupila.
10. El método según la reivindicación 9, que comprende:
obtener un desvío angular adicional entre una dirección ocular adicional y una dirección de la mirada del ojo adicional que tiene un tamaño de la pupila adicional;
actualizar el modelo de compensación basándose en los datos de seguimiento de la mirada almacenados, el tamaño de la pupila adicional y el desvío angular adicional.
11. Un sistema de seguimiento ocular que comprende un sistema de circuitos configurado para:
obtener un primer desvío angular (a1) entre una primera dirección ocular (DO1) y una primera dirección (DM1) de la mirada de un ojo que tiene un primer tamaño (R1) de la pupila; obtener un segundo desvío angular (a2) entre una segunda dirección ocular (DO2) y una segunda dirección (DM2) de la mirada del ojo que tiene un segundo tamaño (R2) de la pupila; y formar, basándose en el primer desvío angular y en el segundo desvío angular, un modelo de compensación que describe un desvío angular (a) estimado en función del tamaño (R) de la pupila.
12. El sistema de seguimiento ocular según la reivindicación 11, en donde el sistema de circuitos se configura para:
determinar la primera dirección ocular y el primer tamaño de la pupila a partir de una primera imagen del ojo; y
determinar la segunda dirección ocular y el segundo tamaño de la pupila a partir de una segunda imagen del ojo.
13. El sistema de seguimiento ocular según la reivindicación 12, en donde el sistema de circuitos se configura para:
obtener una tercera dirección ocular que tiene un tercer tamaño de la pupila;
determinar, basándose en el modelo de compensación, un desvío angular estimado asociado con el tercer tamaño de la pupila; y
determinar, basándose en la tercera dirección ocular y en el desvío angular estimado asociado con el tercer tamaño de la pupila, una tercera dirección de la mirada del ojo.
14. El sistema de seguimiento ocular según la reivindicación 11, en donde el sistema de circuitos se configura para:
determinar la primera dirección ocular y la segunda dirección basándose en una ubicación de un centro esférico estimado de la córnea y una ubicación de un centro de la pupila estimado del ojo que tiene el primer y el segundo tamaño de la pupila, respectivamente.
15. El sistema de seguimiento ocular según la reivindicación 11, en donde el sistema de circuitos se configura para:
determinar la primera dirección de la mirada y la segunda dirección de la mirada basándose en una ubicación de un centro esférico estimado de la córnea y un punto de observación del ojo que tiene el primer y el segundo tamaño de la pupila, respectivamente.
ES18193092T 2017-09-08 2018-09-07 Compensación del radio de la pupila Active ES2887976T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201762556116P 2017-09-08 2017-09-08

Publications (1)

Publication Number Publication Date
ES2887976T3 true ES2887976T3 (es) 2021-12-29

Family

ID=63528550

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18193092T Active ES2887976T3 (es) 2017-09-08 2018-09-07 Compensación del radio de la pupila

Country Status (4)

Country Link
US (1) US10820796B2 (es)
EP (1) EP3453317B1 (es)
CN (1) CN109472189B (es)
ES (1) ES2887976T3 (es)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867252B2 (en) 2017-09-08 2020-12-15 Tobii Ab Continuous calibration based on pupil characteristics
JP2021192164A (ja) * 2020-06-05 2021-12-16 株式会社Jvcケンウッド 視線検出装置、視線検出方法、及び視線検出プログラム
WO2022079584A1 (ja) * 2020-10-12 2022-04-21 フォーブ インコーポレーテッド 視線検出装置、視線検出プログラム及びヘッドマウントディスプレイ
SE2150387A1 (en) * 2021-03-30 2022-10-01 Tobii Ab System and method for determining reference gaze data
CN113208558B (zh) * 2021-04-30 2022-10-21 南昌虚拟现实研究院股份有限公司 眼球追踪方法、装置、电子设备及存储介质
SE545952C2 (en) * 2022-03-31 2024-03-26 Tobii Ab Dynamic Camera Rotation Calibration
US12022182B2 (en) * 2022-05-26 2024-06-25 Motorola Mobility Llc Visual feature based video effects
CN115886721B (zh) * 2022-08-18 2023-08-01 上海佰翊医疗科技有限公司 一种眼球活动度的评估方法、***和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5270748A (en) 1992-01-30 1993-12-14 Mak Technologies, Inc. High-speed eye tracking device and method
US6598971B2 (en) * 2001-11-08 2003-07-29 Lc Technologies, Inc. Method and system for accommodating pupil non-concentricity in eyetracker systems
US6659611B2 (en) 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
EP1516156B1 (en) * 2002-05-30 2019-10-23 AMO Manufacturing USA, LLC Tracking torsional eye orientation and position
US7809160B2 (en) * 2003-11-14 2010-10-05 Queen's University At Kingston Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
US8356900B2 (en) * 2006-01-20 2013-01-22 Clarity Medical Systems, Inc. Large diopter range real time sequential wavefront sensor
EP2238889B1 (en) 2009-04-01 2011-10-12 Tobii Technology AB Adaptive camera and illuminator eyetracker
EP2551636A1 (de) * 2011-07-25 2013-01-30 Leica Geosystems AG Berührungslos bedienbare Vermessungsvorrichtung und Steuerverfahren für eine solche
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
DE102012207377A1 (de) * 2012-05-03 2013-11-07 Carl Zeiss Smt Gmbh Beleuchtungsoptik sowie optisches System für die EUV-Projektionslithographie
US9244529B2 (en) * 2013-01-27 2016-01-26 Dmitri Model Point-of-gaze estimation robust to head rotations and/or device rotations
JP6548171B2 (ja) * 2014-06-09 2019-07-24 国立大学法人静岡大学 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム
US10048749B2 (en) * 2015-01-09 2018-08-14 Microsoft Technology Licensing, Llc Gaze detection offset for gaze tracking models

Also Published As

Publication number Publication date
CN109472189A (zh) 2019-03-15
EP3453317B1 (en) 2021-07-14
US20190076014A1 (en) 2019-03-14
CN109472189B (zh) 2022-03-22
US10820796B2 (en) 2020-11-03
EP3453317A1 (en) 2019-03-13

Similar Documents

Publication Publication Date Title
ES2887976T3 (es) Compensación del radio de la pupila
ES2909057T3 (es) Seguimiento ocular que utiliza la posición del centro del globo ocular
ES2932079T3 (es) Entrenamiento de redes neuronales para la predicción de mirada tridimensional (3D) con parámetros de calibración
ES2957329T3 (es) Sistemas y métodos para el seguimiento ocular en aplicaciones de realidad virtual y de realidad aumentada
ES2936093T3 (es) Fiabilidad de los datos de seguimiento de la mirada para el ojo izquierdo y derecho
US10467470B2 (en) Eye-tracking enabled wearable devices
ES2327633T3 (es) Instalacion para ver y seguir un ojo y la direccion de la mirada del mismo.
ES2943719T3 (es) Dispositivo ponible que tiene una pantalla, lente, iluminador y sensor de imagen
US11294455B2 (en) Method and device for determining gaze placement, computer readable storage medium
ES2553441T3 (es) Detección de estrabismo
JP6631951B2 (ja) 視線検出装置及び視線検出方法
US10448820B2 (en) Eye imaging apparatus with sequential illumination and a syntactic image analyzing method
US11675429B2 (en) Calibration, customization, and improved user experience for bionic lenses
US10867252B2 (en) Continuous calibration based on pupil characteristics
JP2018099174A (ja) 瞳孔検出装置及び瞳孔検出方法
ES2939003T3 (es) Método y sistema para estimación de posición 3D de la córnea
ES2926361T3 (es) Calibración continua basada en características de la pupila
ES2924701T3 (es) Estimación de posición en pantalla
ES2921299T3 (es) Método y sistema para la identificación de reflejos/reflexiones
CN113242710A (zh) 用于确定受试者的眼睛的屈光特征的方法和装置
ES2926953T3 (es) Entrenar un modelo de seguimiento ocular
JP6687195B2 (ja) 眼部画像処理装置
CN115191931A (zh) 斜视检测方法、设备及计算机可读存储介质
US10966603B2 (en) Multiple off-axis channel optical imaging device with overlap to remove an artifact from a primary fixation target
US10610094B2 (en) Multiple off-axis channel optical imaging device with secondary fixation target for small pupils