ES2809648A1 - Sistema y procedimiento de optimizacion del renderizado de imagenes a partir del seguimiento de las pupilas - Google Patents

Sistema y procedimiento de optimizacion del renderizado de imagenes a partir del seguimiento de las pupilas Download PDF

Info

Publication number
ES2809648A1
ES2809648A1 ES201930771A ES201930771A ES2809648A1 ES 2809648 A1 ES2809648 A1 ES 2809648A1 ES 201930771 A ES201930771 A ES 201930771A ES 201930771 A ES201930771 A ES 201930771A ES 2809648 A1 ES2809648 A1 ES 2809648A1
Authority
ES
Spain
Prior art keywords
image
rendering
area
pupils
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
ES201930771A
Other languages
English (en)
Inventor
Alias Antonio Jose Casado
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to ES201930771A priority Critical patent/ES2809648A1/es
Publication of ES2809648A1 publication Critical patent/ES2809648A1/es
Withdrawn legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Sistema y procedimiento de optimización del renderizado de imágenes a partir del seguimiento de las pupilas. Constituido a partir de un dispositivo que capta la imagen y el movimiento de los ojos del usuario como puede ser una cámara, procesa dicha información, y la envía al motor de síntesis de imagen para optimizar el proceso de renderizado, dedicando mayor cantidad de recursos (resolución, potencia de GPU y CPU, memoria de vídeo, resolución de pantalla, etc.) en representar la zona de la imagen que va a incidir en la fóvea de la retina, que es donde se enfoca el centro de atención de la mirada.

Description

DESCRIPCIÓN
SISTEMA Y PROCEDIMIENTO DE OPTIMIZACIÓN DEL RENDERIZADO DE
IMÁGENES A PARTIR DEL SEGUIMIENTO DE LAS PUPILAS
OBJETO DE LA INVENCIÓN
La presente invención se refiere, aprovechando el hecho de que la densidad de receptores en la retina se concentra en determinados puntos de la retina del ojo, a un sistema capaz de mejorar la visión de la zona de la imagen donde se encuentra el foco de atención, usando la información de la orientación de las pupilas para optimizar la potencia de cálculo del sistema de renderizado de la imagen a mostrar en gafas de realidad virtual, monitores, pantallas, etc. en dichos puntos de máxima densidad de receptores.
Viene a resolver el problema hasta ahora no resuelto de mejorar la calidad y optimizar los recursos y el rendimiento de los sistemas de renderizado y representación de imágenes generadas por algoritmos numéricos.
En la mayoría de los animales la distribución de los receptores de luz en la retina es tal que en las zonas donde se enfoca el centro de atención de la imagen que va a procesar el cerebro aumenta la densidad de dichos receptores, obteniendo por tanto más detalle el sujeto observador en la zona donde se centra su interés. En los seres humanos esta zona se denomina fóvea y tiene alrededor de 2mm cuadrados de superficie; de hecho, la mitad de la información que transfiere al cerebro el nervio óptico corresponde a la generada en la fóvea.
El procedimiento en sí usa un dispositivo de seguimiento de la posición de la pupila para determinar qué parte del campo de visión sintetizado en la imagen a representar va a incidir en la fóvea para que el motor de síntesis de imagen use una cantidad adecuadamente mayor de recursos (resolución, potencia de GPU y CPU, memoria de vídeo, resolución de pantalla y/o gafas VR, etc.) en renderizar y representar la zona de la imagen que va a incidir en la fóvea de la retina. El resto de la imagen puede ser sintetizada con menor detalle ya que la densidad de receptores de luz en el resto de la superficie de la retina es menor.
La aplicación industrial de esta invención se encuentra por tanto en el diseño y desarrollo de sistemas y dispositivos de captación de movimiento y posición ocular combinados con sistemas de renderizado de imágenes en simuladores de entrenamiento y/o formación, en juegos y vídeos en streaming, y optimización de estos.
ANTECEDENTES DE LA INVENCIÓN
Aunque no se ha encontrado ninguna invención idéntica a la descrita, exponemos a continuación los documentos encontrados que reflejan el estado de la técnica relacionado con la misma.
Así el documento ES2327633T3 hace referencia a una instalación para la detección de ojos que comprende: una o más fuentes de luz para emitir luz en direcciones hacia la cabeza de un usuario, un detector para recibir luz desde la cabeza de un usuario y para captar repetidamente imágenes de la misma, y una unidad de evaluación conectada al detector para determinar la posición y/o dirección de mirada de un ojo, y dispuesta para determinar, en una imagen captada por el detector, un área en la que estén localizadas una imagen de un ojo o unas imágenes de ojos, la unidad de evaluación está dispuesta para, tras haber determinado el área, controlar el detector para enviar a la unidad de evaluación la información acerca de las imágenes sucesivas que sólo corresponde al área determinada de la imagen captada por el detector, y el detector está dispuesto para leer información únicamente de la porción de la superficie del detector que corresponde al área determinada, y por lo tanto los datos que luego han de ser enviados a la unidad de evaluación. La instalación a la que se refiere el citado documento se centra en la detección de ojos, mientras que la invención principal busca la orientación de la pupila para optimizar los sistemas y recursos de visualización de imágenes.
US6152563A1 propone un sistema para la detección de la dirección de la mirada que utiliza un diodo emisor de luz infrarroja montado coaxialmente con el eje óptico y delante de la lente de imagen de una cámara de video sensible al infrarrojo para grabar de forma remota las imágenes del ojo del operador de la computadora. La luz infrarroja entra en el ojo y es absorbida y luego reemitida por la retina, lo que provoca un "efecto de ojo brillante” que hace que la pupila sea más brillante que el resto del ojo. También da lugar a un pequeño brillo aún más brillante que se forma en la superficie de la córnea. La computadora incluye software y hardware que adquiere una imagen de video, la digitaliza en una matriz de píxeles y luego analiza la matriz para identificar la ubicación del centro del alumno en relación con el centro del destello. Con esta información, el software calibra el sistema para proporcionar un alto grado de precisión en la determinación del punto de vista del usuario. Cuando se combina con una pantalla de computadora y una interfaz gráfica de usuario, el sistema puede colocar el cursor en el punto de vista del usuario y luego realizar las diversas acciones de hacer clic con el ratón en la ubicación en la pantalla donde el usuario se fija. En este caso se trata de un sistema de interfaz y control de cursor en un medio de visualización a través de la orientación del ojo en el que se proyecta un haz de luz infrarroja que registra una cámara, sin embargo, no comprende módulo ninguno de optimización de recursos en renderizados, como ofrece la invención principal.
DE19731301A1 describe un método para controlar microscopios y aparatos conectados a los mismos mediante análisis de la dirección de visión. También se refiere a un aparato para medir la dirección de visión y un accesorio de ocular para llevar a cabo dicho método. El objetivo de la invención es proporcionar un método, un aparato para medir la dirección de visión y una fijación del tipo descrito anteriormente que permita controlar el microscopio y cualquier aparato que funcione en el área de trabajo de dicho microscopio exclusivamente por medio de los datos ópticos de los ojos del observador sin que se produzcan reflejos perturbadores o un manejo incorrecto del microscopio. Con este fin, se utiliza una luz altamente difusa con una longitud de onda de entre 800 y 1000 nm como luz infrarroja que se genera coaxialmente alrededor del ojo del observador a nivel del tubo del ocular. Además, en la trayectoria del haz del sistema óptico se genera al menos otra señal infrarroja que es independiente del lugar de producción de la luz difusa y se dirige al ojo del observador, cuya señal infrarroja tiene una intensidad diferente de la de la luz difusa y una longitud de onda de entre 800 y 1000 nm y se somete a la luz difusa para producir al menos un reflejo corneal adicional. Al igual que en el caso anterior, el control de la orientación del ojo se utiliza para una labor distinta a la del optimizado de renderización de imágenes, concretamente para el control de microscopios y aparatos asociados a los mismos.
US5638176A1 se refiere a un sistema de seguimiento ocular económico que no requiere equipo de cabeza. El sistema de seguimiento ocular utiliza las franjas de interferencia entre el brillo de la córnea y la reflexión retiniana del "ojo rojo” para obtener una señal de punto de fondo inmune de fondo y resolución angular para usarla como dispositivo señalador para computadoras personales. La espectroscopia láser de diodo sintonizable (seguro para los ojos) se utiliza para medir el período y la amplitud de las franjas de Fabry-Perot causadas por la interferencia entre el brillo corneal y el reflejo "rojo" de la retina. Una vez más, el sistema asociado al análisis de la orientación del ojo se refiere a un dispositivo de control distinto al que propone la invención principal, siendo en este caso el uso como dispositivo señalador para ordenadores y computadoras.
Conclusiones: Como se desprende de la investigación realizada, ninguno de los documentos encontrados soluciona los problemas planteados como lo hace la invención propuesta.
DESCRIPCIÓN DE LA INVENCIÓN
El sistema de optimización del renderizado de imágenes a partir del seguimiento de las pupilas objeto de la presente invención se constituye a partir de unas gafas de realidad virtual que llevan instalado un dispositivo o medio de seguimiento de la posición de la pupila, y un procesador que analiza dicha información para, junto con el motor de renderizado, usar una cantidad adecuadamente mayor de recursos (resolución, potencia de GPU y CPU, memoria de vídeo, resolución de pantalla y/o gafas VR, etc.) en renderizar y representar la zona de la imagen que va a incidir en la fóvea de la retina, pudiendo dedicar menos potencia al resto de la imagen.
Para realizar la síntesis de las imágenes el motor de renderizado 3D debe sintetizar dos imágenes por fotograma una que ocupe todo el campo de visión en baja calidad (detalle) y una con la mayor calidad (detalle) posible con el campo de visión reducido a la parte de la imagen que incidirá en la fóvea y que se superpondrá a la imagen de baja calidad en el área adecuada para que incida en la fóvea. De esta manera el usuario no percibirá diferencia con una imagen del campo de visión total renderizada a alta calidad (detalle).
En una realización diferente, donde el objetivo final sea la optimización de una señal de imagen de un vídeo o juego en streaming, la información de la posición de las pupilas se envía al servidor de streaming, para que sea éste el que optimice los algoritmos de compresión de vídeo que utiliza, para que el detalle de la imagen generada se adecue a la zona de la retina que incidirá al ser observada.
En el caso en que el medio de reproducción de imágenes como puede ser un portátil, un smartphone u otro tipo de dispositivo que integre pantalla y cámara, puede usar dicha cámara para hacer el seguimiento de la pupila.
Para mejorar el resultado de la percepción del observador se puede usar un algoritmo de extrapolación de la trayectoria seguida por las pupilas para predecir la posición de la imagen de mayor detalle y extender suficientemente el área de dicha imagen hacia la posición que ocupará en el/los siguiente/s fotograma/s.
BREVE DESCRIPCIÓN DE LOS DIBUJOS
Para una mejor comprensión de la presente descripción se acompañan unos dibujos que representan una realización preferente de la presente invención:
Figura 1: Vista en perspectiva convencional de unas gafas VR con cámara para la captación de los movimientos, la posición y orientación de la pupila.
Figura 2: Vista esquemática de una imagen renderizada compuesta por dos imágenes superpuestas a partir del sistema de optimización objeto de la presente invención.
Las referencias numéricas que aparecen en dichas figuras corresponden a los siguientes elementos constitutivos de la invención:
1. Gafas VR
2. Cámara
3. Procesador
4. Imagen final
5. Imagen a baja calidad que ocupa todo el campo de visión
6. Imagen en alta calidad con el campo de visión reducido a la parte de la imagen que incidirá en la fóvea.
DESCRIPCIÓN DE UNA REALIZACIÓN PREFERENTE
Una realización preferente del sistema y procedimiento de optimización del renderizado de imágenes a partir del seguimiento de las pupilas objeto de la presente invención, implantado en gafas VR a modo de ejemplo, con alusión a las referencias numéricas, puede basarse en el desarrollo de las siguientes etapas técnicas:
i. - Captación de la orientación de la mirada.
Una cámara (2) instalada en las gafas de realidad virtual (1) captan la imagen de los ojos del usuario, y un software asociado a dicha cámara (2) calcula a través de un procesador (3) los movimientos, la posición y orientación de la pupila, y envía dicha información al motor de síntesis de imagen.
ii. - Optimización de recursos de renderizado.
El motor de síntesis de imagen toma la información de la etapa anterior y la implementa en el renderizado a proyectar como imagen final (4), dedicando mayor cantidad de recursos (resolución, potencia de GPU y CPU, memoria de vídeo, resolución de pantalla, etc.) en representar la zona de la imagen que va a incidir en la fóvea de la retina, de forma que realiza la síntesis de dos imágenes (5, 6) por fotograma, una (5) que ocupe todo el campo de visión en baja calidad y una (6) con la mayor calidad posible con el campo de visión reducido a la parte de la imagen que incidirá en la fóvea y que se superpondrá a la imagen de baja calidad en el área adecuada para que incida en la fóvea.
La imagen representada por el número (5) de la figura 2 puede renderizarse obviando el área que ocupará en la imagen representada por el número 4 la imagen representada por el número 6 si el obviar dicha área supone un uso más eficiente de los recursos disponibles para el renderizado.
En los casos de pantallas, será necesario usar un sistema que capture la distancia al observador.

Claims (3)

REIVINDICACIONES
1.
Figure imgf000009_0001
- Procedimiento de optimización del renderizado de imágenes a partir del seguimiento de las pupilas, caracterizado por desarrollarse en las siguientes etapas técnicas:
i.- Captación de la orientación de la mirada.
Una cámara (2) u otro medio similar de seguimiento de la posición de la pupila instalada en las gafas de realidad virtual (1) capta la imagen de los ojos del usuario, y un software asociado a dicha cámara (2) calcula a través de un procesador (3) los movimientos, la posición y orientación de la pupila, y envía dicha información al motor de síntesis de imagen.
ii.- Optimización de recursos de renderizado.
El motor de síntesis de imagen toma la información de la etapa anterior y la implementa en el renderizado a proyectar como imagen final (4), dedicando mayor cantidad de recursos (resolución, potencia de GPU y CPU, memoria de vídeo, resolución de pantalla, etc.) en representar la zona de la imagen que va a incidir en la fóvea de la retina, de forma que realiza la síntesis de dos imágenes (5, 6) por fotograma, una (5) que ocupe todo el campo de visión en baja calidad y una (6) con la mayor calidad posible con el campo de visión reducido a la parte de la imagen que incidirá en la fóvea y que se superpondrá a la imagen de baja calidad en el área adecuada para que incida en la fóvea.
2.
Figure imgf000009_0002
- Procedimiento de optimización del renderizado de imágenes a partir del seguimiento de las pupilas, según reivindicación 1, donde en la primera etapa un algoritmo de extrapolación de la trayectoria seguida por las pupilas predice la posición de la imagen de mayor detalle y extiende suficientemente el área de dicha imagen hacia la posición que ocupará en el/los siguiente/s fotograma/s.
3.
Figure imgf000009_0003
- Procedimiento de optimización del renderizado de imágenes a partir del seguimiento de las pupilas, según reivindicación 1, donde, cuando el objetivo final sea la optimización de una señal de imagen de un vídeo o juego en streaming, la información de la posición de las pupilas se envía al servidor de streaming, para que sea éste el que optimice los algoritmos de compresión de vídeo que utiliza, para que el detalle de la imagen generada se adecue a la zona de la retina que incidirá al ser observada.
ES201930771A 2019-09-04 2019-09-04 Sistema y procedimiento de optimizacion del renderizado de imagenes a partir del seguimiento de las pupilas Withdrawn ES2809648A1 (es)

Priority Applications (1)

Application Number Priority Date Filing Date Title
ES201930771A ES2809648A1 (es) 2019-09-04 2019-09-04 Sistema y procedimiento de optimizacion del renderizado de imagenes a partir del seguimiento de las pupilas

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES201930771A ES2809648A1 (es) 2019-09-04 2019-09-04 Sistema y procedimiento de optimizacion del renderizado de imagenes a partir del seguimiento de las pupilas

Publications (1)

Publication Number Publication Date
ES2809648A1 true ES2809648A1 (es) 2021-03-04

Family

ID=74851507

Family Applications (1)

Application Number Title Priority Date Filing Date
ES201930771A Withdrawn ES2809648A1 (es) 2019-09-04 2019-09-04 Sistema y procedimiento de optimizacion del renderizado de imagenes a partir del seguimiento de las pupilas

Country Status (1)

Country Link
ES (1) ES2809648A1 (es)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180033405A1 (en) * 2016-08-01 2018-02-01 Facebook, Inc. Adaptive parameters in image regions based on eye tracking information
WO2018140287A1 (en) * 2017-01-25 2018-08-02 Apple Inc. Electronic device with foveated display system
WO2018220608A1 (en) * 2017-05-29 2018-12-06 Eyeway Vision Ltd Image projection system
US20190094981A1 (en) * 2014-06-14 2019-03-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190094981A1 (en) * 2014-06-14 2019-03-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20180033405A1 (en) * 2016-08-01 2018-02-01 Facebook, Inc. Adaptive parameters in image regions based on eye tracking information
WO2018140287A1 (en) * 2017-01-25 2018-08-02 Apple Inc. Electronic device with foveated display system
WO2018220608A1 (en) * 2017-05-29 2018-12-06 Eyeway Vision Ltd Image projection system

Similar Documents

Publication Publication Date Title
US10257507B1 (en) Time-of-flight depth sensing for eye tracking
US11016301B1 (en) Accommodation based optical correction
US9959678B2 (en) Face and eye tracking using facial sensors within a head-mounted display
KR102062658B1 (ko) 안구 모델을 생성하기 위한 각막의 구체 추적
US10115205B2 (en) Eye tracking system with single point calibration
CN104094197B (zh) 利用投影仪的注视追踪
US10802583B2 (en) Methods and apparatus for retinal retroreflection imaging
KR102366110B1 (ko) 번쩍임의 광원에의 매핑
EP3252566B1 (en) Face and eye tracking and facial animation using facial sensors within a head-mounted display
US10420464B2 (en) Gaze tracking system
CN109643152B (zh) 使用头戴式显示器内的面部传感器的面部和眼睛跟踪以及面部动画
JP6631951B2 (ja) 視線検出装置及び視線検出方法
US10430988B2 (en) Facial animation using facial sensors within a head-mounted display
US12023128B2 (en) System and method for eye tracking
US10599215B2 (en) Off-axis eye tracker
US10984236B2 (en) System and apparatus for gaze tracking
CN109964230B (zh) 用于眼睛度量采集的方法和设备
US20170263006A1 (en) Corneal sphere tracking for generating an eye model
JP2018099174A (ja) 瞳孔検出装置及び瞳孔検出方法
ES2809648A1 (es) Sistema y procedimiento de optimizacion del renderizado de imagenes a partir del seguimiento de las pupilas
JP6430813B2 (ja) 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置

Legal Events

Date Code Title Description
BA2A Patent application published

Ref document number: 2809648

Country of ref document: ES

Kind code of ref document: A1

Effective date: 20210304

FA2A Application withdrawn

Effective date: 20210621