ES2661554T3 - Método y aparato para usar aplicaciones de software genéricas por medio de un control ocular y métodos adecuados de interacción - Google Patents

Abstract

Método para usar aplicaciones de software genéricas por medio de un control ocular que comprende las siguientes etapas: a) visualizar (20) en un medio de visualización adecuado dado asociado a un medio de procesamiento de datos adecuado una interfaz de usuario de control para permitir que un usuario controle un sistema operativo y los programas de aplicación asociados de dicho medio de procesamiento de datos; b) detectar (21) por medio de un dispositivo de seguimiento ocular o un rastreador ocular, comprendido en un medio de interfaz de usuario adecuado asociado a dicho medio de procesamiento de datos, las coordenadas de la mirada del usuario en la forma de datos en bruto, concretamente de unas muestras relacionadas con las coordenadas de la mirada de cada ojo del usuario; c) filtrar (22) dichos datos en bruto con el fin de hacerlos estables y adecuados para proporcionar indicaciones sobre las fijaciones del usuario, concretamente sobre el número de miradas del usuario dentro de ciertos alrededores; d) enviar (23) los datos filtrados, expresados en coordenadas x, y de un punto fijo, a un módulo de control de sistema operativo/aplicaciones (11) procesándolos mediante la definición de una acción a realizar y los cambios a introducir en dicha interfaz de usuario de control; comprendiendo dicho módulo de control de sistema operativo/aplicaciones (11) un conjunto de instrucciones para controlar el sistema operativo y las aplicaciones relacionadas y para gestionar la interfaz gráfica de la aplicación en ejecución que contiene la información sobre los interactores presentes en una vista de pantalla y para realizar una acción nativa asociada con un interactor fijado por el usuario en ese momento; e) realizar la acción determinada por la etapa anterior y, en el caso de que sea necesario, modificar de manera adecuada dicha interfaz de usuario de control de acuerdo con la acción; f) repetir la secuencia a partir de la etapa b) hasta que el usuario decida abandonar el programa de aplicación que está usando, en el que dicha etapa d) comprende además las etapas de detectar qué interactores están presentes alrededor de la mirada del usuario, modificar dichos interactores y mostrar dichos interactores modificados en un panel lateral en dicha interfaz de usuario de control, dimensionándose, separándose y adaptándose adecuadamente dichos interactores modificados para poder seleccionarse de manera eficaz por la mirada del usuario.

Description

5

10

15

20

25

30

35

40

45

50

55

60

65

DESCRIPCIÓN

Método y aparato para usar aplicaciones de software genéricas por medio de un control ocular y métodos adecuados de interacción

Campo de la invención

[0001] La presente invención se refiere al campo de los sistemas y métodos para el control de las aplicaciones de software genéricas por medio de dispositivos de seguimiento ocular, es decir, usando movimientos oculares.

[0002] Al no tener la oportunidad de usar el ratón para acceder a las aplicaciones de software, el usuario debería aprovechar las técnicas que le permiten realizar, por medio de movimientos oculares, las mismas operaciones que pueden realizarse con el ratón. Con este fin, se han desarrollado técnicas y artilugios que permiten al usuario disminuir significativamente el esfuerzo cognitivo a realizar.

Estado de la técnica

[0003] El seguimiento de los movimientos oculares ofrece potencialmente al usuario la posibilidad de controlar el software de un ordenador personal con solo mirar la pantalla del mismo.

[0004] En el documento “A system for web browsing by eyegaze input” por Kiyohiko Abe et. al. (DOI: 10.1002/ECJ.10110) se describe un sistema de entrada por mirada ocular, para personas con discapacidades físicas severas, que usa un PC y una cámara de video doméstica para detectar la mirada ocular y que se basa en la emulación del puntero del ratón en la pantalla.

[0005] Sin embargo, hay problemas que frustran al usuario durante el uso de los sistemas de seguimiento de los movimientos oculares - o sistemas de seguimiento ocular - para controlar el software de un ordenador personal, del tipo descrito en el documento anterior. En particular, los ojos deberían comportarse simultáneamente como dispositivos de entrada y salida, es decir, deberían explorar y realizar acciones reales. De nuevo, los dispositivos de seguimiento ocular sufren problemas intrínsecos de precisión al medir la posición de la mirada en la pantalla. Por lo tanto, la precisión del sensor siempre se ve afectada por un error (la diferencia entre la posición actual del cursor en la pantalla en comparación con la posición del cursor deseada por el usuario) y esto no facilita el control de la mayoría de las aplicaciones de software, ya que muchos programas de software requieren una precisión de algunos milímetros, y otros también requieren una precisión evaluable en términos de píxeles.

[0006] Por lo tanto, el uso de sistemas de seguimiento ocular se limita en general al software hecho específicamente para los usuarios con discapacidad en los que se requiere una precisión de puntero baja. De hecho, el usuario debería hacer su selección a partir de una lista de celdas relativamente grandes en las que el efecto del error de precisión es pequeño.

[0007] En cambio, en el campo de las aplicaciones de software de uso común, el empleo de los sistemas de seguimiento ocular para controlar la aplicación, por ejemplo, por medio del movimiento del cursor que se actualiza muchas veces por segundo, siguiendo la dirección de la mirada, el error de precisión hace que la tarea del usuario sea muy difícil, a quien se requiere un esfuerzo significativo de concentración, que muy pronto genera fatiga.

[0008] Cualquier intento por parte del usuario para corregir el error redirigiendo su mirada hacia la posición donde el cursor debería colocarse no hace nada más que hacer el uso del cursor cada vez más problemático y agotador.

[0009] Algunas de las soluciones en uso en el estado de la técnica proporcionan la solución del problema mencionado anteriormente por medio de la ampliación de una parte de la pantalla del ordenador personal, con el fin de mejorar la precisión en el posicionamiento del cursor. Se proporciona un ejemplo en la publicación de solicitud de patente europea EP 1 679 577 A1, que describe una solución para mostrar información en una pantalla de un ordenador basándose en una señal de datos de seguimiento ocular, que describe una matriz de objetos manipulables mostrados en la pantalla. Cada uno de estos objetos se extiende a lo largo de una región inactiva respectiva y representa gráficamente un componente GUI que puede controlarse en respuesta a la señal de datos de seguimiento ocular. La pantalla también muestra una zona de modificación que muestra una representación modificada gráficamente de al menos uno de los objetos de la matriz. Cada representación en la zona se extiende sobre una región activa respectiva, que es más grande que la región inactiva.

[0010] Sin embargo, este enfoque es insuficiente debido a que el error de compensación también permanece en estos casos, continuando de este modo con la frustración del usuario, y por otra parte implica un aumento de la complejidad de la interfaz que puede crear confusión y distracción.

[0011] Otras soluciones disponibles actualmente implican la aparición de menús “fuera de la pantalla” que permiten al usuario seleccionar la acción a realizar emulando las diferentes operaciones que pueden realizarse con el ratón (un clic, doble clic, clic derecho, arrastrar y soltar).

5

10

15

20

25

30

35

40

45

50

55

60

65

[0012] Una vez más, en algunos casos, las funciones deseadas pueden activarse apuntando la mirada sobre iconos dispuestos en tiras de cartón recubierto de plástico que se colocan en el perímetro vertical del monitor: de este modo el ojo seleccionaría las funciones externas al mismo antes de activarlos en el icono o en la función deseada y a continuación mover el cursor que se dirigirá por la mirada hacia los íconos o las aplicaciones deseadas.

[0013] En otros casos adicionales, también es posible dirigir un segundo PC, conectado con el sistema de seguimiento ocular, cuyo monitor se instalaría al lado del monitor del rastreador ocular para dar al usuario la oportunidad de observar fácilmente el control del ratón sobre las aplicaciones.

[0014] Las direcciones del puntero del ratón se activan con la mirada en la vista de pantalla en el monitor del dispositivo de seguimiento ocular y una vez que se selecciona la dirección, el efecto se observa en el otro PC; tan pronto como se quita la mirada del PC que se quiere controlar, el puntero se detiene y pueden seleccionarse las órdenes deseadas. De este modo, el segundo PC conectado puede dirigirse con el sistema de seguimiento ocular, por medio de la emulación del ratón.

[0015] En principio, se puede afirmar que, contrariamente a lo que se ha implementado hasta la fecha, sería deseable disponer de una pantalla en la que los elementos representados no interfieran demasiado con el uso normal del software por las siguientes razones: la atención del usuario disminuye exponencialmente con el aumento del número de elementos representados en la pantalla, el usuario normalmente tiene poca familiaridad con los dispositivos de seguimiento ocular y además puede verse afectado por discapacidades cognitivas tales como el uso de un dispositivo de seguimiento ocular prohibitivo.

[0016] Por las razones mencionadas anteriormente, el objeto de la presente invención es proporcionar un método para controlar un ordenador personal por medio de un sistema de seguimiento ocular que supere los inconvenientes mencionados anteriormente.

[0017] Uno de los principales requisitos sigue siendo el de minimizar el esfuerzo cognitivo necesario para manipular el software, garantizando que la interfaz acepta entradas “naturales” y responde “de manera natural” y es fácilmente comprensible.

[0018] Por esta razón será necesario desarrollar una interfaz que use técnicas de interacción que no sean estresantes para el usuario. Ya que muchas de las entradas son involuntarias, el sistema debería interpretarlas correctamente sin producir respuestas no solicitadas provocadas por las acciones involuntarias. Por lo tanto, tal sistema debería ser capaz de distinguir entre la verdadera voluntad del usuario mientras le permite observar la interfaz pacíficamente si no es su intención dar una orden; por otro lado, el usuario debería ser capaz de evaluar cuál es el estado actual del sistema, con el fin de darse cuenta de si sus intenciones se han interpretado adecuadamente, para evitar la ejecución de órdenes involuntarias.

[0019] Debería destacarse también que mientras que los sistemas del estado de los sistemas operativos de control de la técnica por medio de la emulación del ratón a través del control ocular (conversión del movimiento de la mirada en el movimiento del cursor), el objeto de la presente invención proporciona un remapeo de los interactores nativos “originales” del sistema operativo del ordenador personal (iconos, etc.) en nuevos interactores modificados y adaptados al modo de selección por medio del control ocular.

[0020] Por lo tanto, la presente invención establece un tipo de “canal directo”, a medida que se supera la emulación del cursor por el hecho de que los interactores nativos se sustituyen por los modificados y adaptados a la necesidad de usar la mirada como sistema de entrada.

[0021] Además, el uso de una máquina virtual, que permite gestionar y crear un entorno virtual para realizar un sistema operativo adicional con las aplicaciones de software relacionadas y que el usuario puede usar simultáneamente con el iniciado, puede proporcionar ventajas adicionales. Una de las mismas es la seguridad: una máquina virtual está completamente aislada y es independiente y un bloqueo repentino de la máquina virtual no implica que se bloquee el sistema operativo de alojamiento; por lo tanto, no es necesario reiniciar el ordenador, sino solo finalizar la máquina virtual y volver a iniciarla, mientras que se evita dañar, por ejemplo, el sistema de archivos.

[0022] Como el método de acuerdo con la presente invención puede estar integrado en una suite de comunicación, usando la máquina virtual es posible moverse de manera sencilla, rápida y segura (por medio de la suspensión de la máquina virtual) mediante el uso de las aplicaciones clásicas de PC, por medio de las técnicas de control descritas a continuación, al conjunto de comunicación diseñado específicamente para usarse mediante el control ocular, superando de este modo los problemas de los sistemas en el estado de la técnica que proporcionan procedimientos bastante complicados para moverse de un modo a otro.

[0023] Al mismo tiempo, el usuario puede elegir directamente, mediante atajos adecuados, ejecutar algunas aplicaciones predefinidas en el interior de la suite de comunicación superando de este modo el problema de la posible ejecución directa desde el sistema operativo.

5

10

15

20

25

30

35

40

45

50

55

60

65

Breve descripción de las figuras

[0024]

La figura 1 muestra el diagrama de bloques de la arquitectura del método de acuerdo con la presente invención. La figura 2 muestra el diagrama de flujo del método de acuerdo con la presente invención.

La figura 3 muestra el diagrama de flujo del módulo relacionado con el filtrado de los datos en bruto procedentes del dispositivo de seguimiento ocular.

La figura 4 muestra el diagrama de flujo relacionado con el módulo de control de aplicación.

La figura 5 muestra el diagrama de flujo relacionado con el módulo de mapeo de coordenadas.

La figura 6 muestra el diagrama de flujo relacionado con las estrategias de recuperación de datos relacionadas con los interactores en las vistas de pantalla.

Las figuras 7 - 10 muestran, por medio de un ejemplo no limitativo, una posible implementación de la interfaz gráfica del objeto de aplicación de la presente invención.

Sumario de la invención

[0025] El objeto de la presente invención consiste en un método y un programa informático correspondiente para el uso de aplicaciones de software genéricas por medio del control ocular, de acuerdo con las reivindicaciones 1 y 6, respectivamente. Las reivindicaciones dependientes definen además las realizaciones preferidas. Las reivindicaciones forman una parte integral de la presente descripción.

[0026] El método objeto de la presente invención, representa por lo tanto, una implementación posible de una tecnología de asistencia, extremadamente innovadora en términos de control de aplicaciones de software genéricas, basándose en el uso de entradas alternativas y naturales, tales como la mirada.

Descripción detallada de la invención

[0027] En una realización preferida de la presente invención, el aparato objeto de la presente invención comprende unos medios electrónicos de procesamiento de datos e información, medios para memorizar dichos datos e información y medios de interfaz de usuario.

[0028] Dichos medios electrónicos de procesamiento de datos e información comprenden una sección de control adecuada, basada preferentemente en al menos un microprocesador, y pueden, por ejemplo, proporcionarse mediante un ordenador personal.

[0029] Dichos medios de memorización comprenden, preferentemente, discos duros y dispositivos de almacenamiento de tipo flash. Dichos medios de interfaz de usuario comprenden preferentemente medios de visualización de datos, tales como, por ejemplo, pantallas, monitores o unidades de salida externas análogas y dispositivos de seguimiento ocular adaptados para interpretar la dirección de la mirada del usuario.

[0030] Dicho microprocesador está equipado preferentemente con un sistema operativo, con un entorno virtual adecuado por medio del uso de una máquina virtual y por un programa de software adecuado que implementa un método cuya arquitectura, descrita en la figura 1, comprende los siguientes módulos, que a su vez comprenden una serie de instrucciones adaptadas para realizar una tarea específica: un módulo de filtrado 10 en el que se procesan las coordenadas de la mirada del usuario con el fin de hacer que los datos en bruto procedentes del dispositivo de seguimiento ocular usado sean más estables; un módulo, concretamente un control de sistema operativo/ aplicaciones 11, responsable de controlar el sistema operativo y las aplicaciones asociadas con el mismo y ejecutar las interfaces gráficas de aplicación en desarrollo, que contienen la información sobre los interactores en la vista de pantalla y realizar la acción nativa asociada con el interactor fijado por el usuario en ese momento, siendo dichos interactores los elementos activables en la interfaz: los iconos, los menús desplegables, las casillas de verificación, etc., adaptados para hacer que el usuario realice acciones en el programa de aplicaciones a controlar.

[0031] Dicho módulo de control de sistema operativo/aplicaciones 11 está formado por dos sub-módulos de componentes: un módulo de controlador 12 y un módulo de cliente 13.

[0032] Dicho módulo controlador 12 está a cargo de gestionar la presentación de los interactores y de definir la acción nativa asociada con cada uno de los mismos y, que a su vez comprende tres módulos adicionales que interactúan entre sí:

un módulo de mapeo de coordenadas 12A que se encarga de realizar el remapeo de las coordenadas relacionadas con las vistas de pantalla y a los interactores en las mismas (diferentes entre el cliente y el controlador);

un módulo de gestión de interactores 12B que se encarga de realizar la comparación con la mirada entrante para definir qué interactores se fijan por el usuario y los presenta, de manera adecuada y posiblemente modificada, en la interfaz, por ejemplo, en un panel lateral;

5

10

15

20

25

30

35

40

45

50

55

60

65

un módulo de definición de acción nativa 12C que se encarga de definir la acción nativa asociada con cada interactor del sistema operativo y de enviarlo a dicho módulo de cliente 13, estando de este modo disponible para un procesamiento sucesivo.

[0033] Dicho módulo de mapeo de coordenadas 12A se compone a su vez de dos sub-módulos que interactúan entre sí: un submódulo de traslación de coordenadas 14 que realiza una traslación de las coordenadas relacionadas con las vistas de pantalla y los interactores y un submódulo de calibración adaptativa 15 que realiza un reajuste adicional de las coordenadas por medio de la deformación geométrica del plano obtenido comparando la información sobre los interactores que el usuario puede seleccionar y las coordenadas de la mirada procedentes del rastreador ocular, los resultados de las acciones combinadas de estos dos módulos es la descrita anteriormente en relación con el módulo de mapeo de coordenadas 12A.

[0034] Dicho módulo de cliente 13 está adaptado para definir la posición y la función de los interactores en la vista de pantalla y a su vez comprende dos módulos adicionales que interactúan entre sí: el módulo de gestión de interfaz 13A que se encarga de analizar las vistas de pantalla y enviar la información relacionada con las mismas y con los interactores presentes, detectados por medio de diferentes métodos de búsqueda, al módulo de controlador 12; el módulo de gestión de acciones nativas 13B que está a cargo de recibir la información relacionada con la acción nativa asociada y de realizarla como una acción en dicho sistema operativo.

[0035] En referencia a la figura 2, se muestra un diagrama que representa el funcionamiento de los módulos mencionados anteriormente y las interconexiones entre sí mediante la ilustración de las etapas del método de acuerdo con la presente invención:

a) En dichos medios de visualización de datos asociados con dichos medios de procesamiento de datos, se visualizan 20 una interfaz de usuario de control adaptada para permitir que el usuario controle el sistema operativo y los programas de aplicación asociados con la misma de dichos medios de procesamiento electrónico.

b) Las coordenadas de la mirada del usuario en la forma de datos en bruto, es decir, de las muestras relacionadas con las coordenadas de la mirada de los dos ojos separados, que están sujetos a fuertes oscilaciones, se detectan por el dispositivo de seguimiento ocular 21, comprendido en dicho medio de interfaz de usuario. Estas oscilaciones en general ocurren alrededor de una cierta posición, pero también hay algunas miradas que son totalmente erróneas y deberían eliminarse mediante una operación de filtrado.

c) Dichos datos en bruto se filtran 22 con el fin de hacerlos estables y adecuados para proporcionar indicaciones sobre las fijaciones del usuario, es decir, sobre el número de miradas del usuario dentro de ciertos alrededores.

d) Los datos filtrados expresados en coordenadas x, y del punto fijo se envían 23 al módulo de control de sistema operativo/aplicaciones 11 que los procesa definiendo la acción a realizar y las modificaciones a hacer en dicha interfaz de usuario.

e) La acción a realizar determinada por la etapa anterior se realiza 23 y, posiblemente, dicha interfaz de usuario de control se modifica adecuadamente siguiendo la propia acción.

f) La secuencia se repite a partir de la etapa b) hasta que el usuario decida abandonar el programa de aplicación que está usando.

[0036] El procedimiento de filtrado de los datos en bruto de acuerdo con la etapa c) se realiza de acuerdo con la secuencia indicada a continuación y se ilustra en la figura 3:

g) Se realiza un prefiltrado 30 de los datos en bruto y las muestras no válidas se detectan y se eliminan usando, por ejemplo, criterios estadísticos.

h) Las coordenadas de la mirada del ojo derecho y del ojo izquierdo se combinan 31 en un punto que se considera probable de ser el fijado por el usuario.

i) El promedio y la desviación estándar se calculan 32 con respecto al número de muestras deseadas (definidas en función del número de muestras que se decidieron tener en cuenta a priori).

j) Las tolerancias se definen 33 para las evaluaciones.

k) Los datos aceptables se discriminan 34 con respecto a los rechazados basándose en lo establecido en las etapas anteriores i) y j).

[0037] Los datos filtrados enviados al módulo de control de sistema operativo/aplicaciones 11 se procesan de acuerdo con la secuencia indicada a continuación y se ilustran en la figura 4:

l) El módulo de gestión de interfaz 13A analiza las vistas de pantalla y envía 40 la información relacionada con las vistas de pantalla y con los interactores en la interfaz de usuario actual al módulo de mapeo de coordenadas 12A.

m) El módulo de mapeo de coordenadas 12A realiza el remapeo de las coordenadas relacionadas con las vistas de pantalla y con los interactores y realiza una comparación con los datos relacionados con la mirada que procede del rastreador ocular. Dicho remapeo permite que se definan las coordenadas procedentes del módulo de cliente 13 relacionadas con la posición de los interactores en las vistas de pantalla a definir con respecto a otro sistema de ejes que tenga un origen diferente al basado en las coordenadas de las miradas procedentes del dispositivo de seguimiento ocular. Una vez que se ha realizado esta operación, la comparación permite

5

10

15

20

25

30

35

40

45

50

55

60

65

comprender qué interactor está fijado por el usuario.

n) El módulo de gestión de interacción 12B dibuja de nuevo 42 los interactores presentes en los alrededores de las miradas detectadas mostrándolas adecuadamente (por ejemplo, en un panel lateral de la interfaz de usuario específica del programa) usando técnicas heurísticas para decidir el orden de aparición determinando qué interactor se seleccionará más probablemente. Esto permite mostrar cada interactor de una manera “ponderada”, desde el más probable al menos probable. A continuación, el módulo de gestión de interactor 12B espera los datos relacionados con las miradas procedentes del rastreador ocular y la selección de uno de los interactores en el panel lateral.

o) El módulo de definición de acción nativa 12C define 43 la acción nativa del sistema operativo asociado con cada interactor (es decir, eventos que se simulan por el módulo de cliente 13 y corresponden a las inserciones de los controles procedentes del teclado, un solo clic, arrastrar y soltar, etc.) y lo envía al módulo de gestión de acción nativa 13B.

p) El módulo de gestión de acción nativa 13B recibe la información relacionada con la acción nativa asociada con el interactor seleccionado y la realiza 44 como una acción en el sistema operativo (por ejemplo, enviar un carácter, un movimiento de ratón en una posición específica, etc.).

[0038] El proceso de mapear las coordenadas de nuevo de acuerdo con la etapa m) de la secuencia ilustrada en la figura 4 se produce de acuerdo con la secuencia indicada a continuación e ilustrada en la figura 5:

q) El módulo de traslación de coordenadas 14 realiza 50 una traslación de las coordenadas relacionadas con las vistas de pantalla y con las interactores entrantes y envía estos datos al módulo de calibración adaptativa 15.

r) El módulo de calibración adaptativa 15 realiza un reajuste adicional de las coordenadas, por medio de la deformación geométrica del plano obtenido comparando la información sobre los interactores que el usuario puede seleccionar y las coordenadas de la mirada que provienen del rastreador ocular, y envía la información para actualizar el mapeo al módulo de traslación de coordenadas 14.

[0039] El módulo de gestión de interfaz realiza la búsqueda de los interactores en las pantallas de visualización de manera continua durante todo el proceso descrito anteriormente, por medio del uso de las etapas descritas a continuación e ilustradas en la figura 6:

s) El módulo de gestión de interfaz 13A consulta 60 la API (Interfaces de programación de aplicaciones) de las funciones de accesibilidad para rastrear la posición y las funciones de los diferentes interactores en la página.

t) El módulo de gestión de interfaz 13A implementa 61 un algoritmo de cruce recursivo del diagrama de ventanas en la página mientras que trata de extraer información adicional (con el fin de superar el obstáculo representado por información insuficiente obtenida por medio de la API de accesibilidad).

u) El módulo de gestión de interfaz 13A consulta 62 una base de datos preformada de aplicaciones soportadas a partir de la cual obtiene las estrategias para usar diversas aplicaciones. La base de datos contiene información general relacionada con cómo se realizan las diversas aplicaciones y los diversos programas de aplicación y se obtienen heurísticamente indicaciones de la misma de cómo pueden realizarse otros de los que no se conoce nada.

[0040] El método descrito permite, por ejemplo, que un usuario con discapacidad use un ordenador personal equipado, por ejemplo, con un sistema operativo y con programas de aplicación tales como Windows® y el paquete de Microsoft® Office®.

[0041] Las acciones realizadas por el usuario se describen a continuación en detalle:

El usuario se coloca delante del rastreador ocular conectado a un monitor en el que se visualiza la vista de pantalla del sistema operativo/aplicación que se desea controlar por medio de movimientos oculares.

[0042] El usuario fija, por ejemplo, el icono de Inicio en la barra de aplicaciones Windows® cerca del cual está el icono de la aplicación Word® y la barra de Windows®: la mirada se mueve en los alrededores específicos de las características intrínsecas del rastreador ocular. Debido a esto y al error posible e intrínseco de la precisión del dispositivo de seguimiento ocular, no puede decirse con certeza en que se está fijando el usuario y cuál es su intención. Para evitar este problema, todos los interactores en los alrededores de la mirada (por ejemplo, el botón de inicio, el icono del programa Word®, la barra de Windows®) se muestran en un panel lateral, de manera adecuada para la selección por medio del control ocular (bien separados y con tamaños adecuados). Tales interactores se detectan por medio de estrategias de recuperación de datos adecuadas (tipo, posición, etc.) relacionadas con los interactores en la vista de pantalla (consulta de API de accesibilidad, cruce recursivo del diagrama de ventanas, base de datos de aplicaciones predefinidas) y se muestran de una manera “ponderada” de acuerdo con el orden obtenido por medio de técnicas heurísticas (desde el más probable al menos probable).

[0043] El usuario fija el interactor de interés en el panel lateral y como los botones están bien separados y son de tamaños adecuados, no hay ambigüedad con respecto a la elección del usuario. Por lo tanto, se selecciona el botón y se realiza la acción consiguiente.

[0044] En mayor detalle y en referencia a las figuras adjuntas 7-10, el usuario, en primer lugar, se coloca en frente del rastreador ocular conectado a un monitor en el que se visualiza la vista de pantalla 70 del sistema operativo/aplicación deseada a controlar por medio de movimientos oculares (figura 7).

5 [0045] El usuario fija, por ejemplo, el icono de Inicio en la barra de aplicaciones de Windows® cerca del cual está el

icono de la aplicación Word® y la barra de Windows®: la mirada 71 se mueve en los alrededores específicos de las características intrínsecas del rastreador ocular. Debido a esto y al error posible e intrínseco de precisión del dispositivo de seguimiento ocular, no puede decirse con certeza en que se está fijando el usuario y cuál es su intención (figura 7).

10

[0046] Todos los interactores en los alrededores de la mirada 71 (por ejemplo, el botón de inicio, el icono de Word®, la barra de Windows®) se muestran en un panel lateral 72, de manera adecuada para la selección por medio del control ocular (bien separados y de tamaños adecuados) Tales interactores se detectan por medio de estrategias de recuperación de datos adecuadas (tipo, posición, etc.) relacionadas con los interactores en la vista de pantalla

15 (consulta de API de accesibilidad, cruce recursivo del diagrama de ventanas, base de datos de aplicaciones

predefinidas) y se muestran de una manera “ponderada” de acuerdo con el orden obtenido por medio de técnicas heurísticas (desde el más probable al menos probable) (figura 8).

[0047] El usuario fija el interactor de interés 73 en el panel lateral 72: ya que los botones están bien separados y son

20 de tamaños adecuados, no hay ambigüedad con respecto a la elección del usuario (figura 9). Por lo tanto, se

selecciona el botón y se realiza la acción consiguiente.

[0048] Después de la selección del botón de inicio en el panel de interactores, la acción se realiza en consecuencia (figura 10), o se abre la ventana 74 relacionada con la solicitud. El panel de interactores 72 se vacía mientras que se

25 espera a que se llene nuevamente con nuevos interactores siguiendo las miradas sucesivas del usuario.

Claims (6)

1. 5

   10

   15

   20

   25

   30

   35

   40

   45

   50

   55

   60

   65

   REIVINDICACIONES

   1. Método para usar aplicaciones de software genéricas por medio de un control ocular que comprende las siguientes etapas:

   a) visualizar (20) en un medio de visualización adecuado dado asociado a un medio de procesamiento de datos adecuado una interfaz de usuario de control para permitir que un usuario controle un sistema operativo y los programas de aplicación asociados de dicho medio de procesamiento de datos;

   b) detectar (21) por medio de un dispositivo de seguimiento ocular o un rastreador ocular, comprendido en un medio de interfaz de usuario adecuado asociado a dicho medio de procesamiento de datos, las coordenadas de la mirada del usuario en la forma de datos en bruto, concretamente de unas muestras relacionadas con las coordenadas de la mirada de cada ojo del usuario;

   c) filtrar (22) dichos datos en bruto con el fin de hacerlos estables y adecuados para proporcionar indicaciones sobre las fijaciones del usuario, concretamente sobre el número de miradas del usuario dentro de ciertos alrededores;

   d) enviar (23) los datos filtrados, expresados en coordenadas x, y de un punto fijo, a un módulo de control de sistema operativo/aplicaciones (11) procesándolos mediante la definición de una acción a realizar y los cambios a introducir en dicha interfaz de usuario de control; comprendiendo dicho módulo de control de sistema operativo/aplicaciones (11) un conjunto de instrucciones para controlar el sistema operativo y las aplicaciones relacionadas y para gestionar la interfaz gráfica de la aplicación en ejecución que contiene la información sobre los interactores presentes en una vista de pantalla y para realizar una acción nativa asociada con un interactor fijado por el usuario en ese momento;

   e) realizar la acción determinada por la etapa anterior y, en el caso de que sea necesario, modificar de manera adecuada dicha interfaz de usuario de control de acuerdo con la acción;

   f) repetir la secuencia a partir de la etapa b) hasta que el usuario decida abandonar el programa de aplicación que está usando,

   en el que dicha etapa d) comprende además las etapas de detectar qué interactores están presentes alrededor de la mirada del usuario, modificar dichos interactores y mostrar dichos interactores modificados en un panel lateral en dicha interfaz de usuario de control, dimensionándose, separándose y adaptándose adecuadamente dichos interactores modificados para poder seleccionarse de manera eficaz por la mirada del usuario.
2. 2. Método de acuerdo con la reivindicación 1, en el que el procedimiento de filtrado de los datos en bruto de acuerdo con la etapa c) anterior se realiza por medio de las siguientes etapas:

   g) prefiltrar (30) dichos datos en bruto detectando y eliminando las muestras no válidas usando criterios estadísticos;

   h) combinar (31) las coordenadas de la mirada del ojo derecho y del ojo izquierdo en un punto que probablemente sea el fijado por el usuario;

   i) calcular (32) el promedio y la desviación estándar con respecto al número deseado de muestras, definidos de acuerdo con el número de muestras que a priori se ha decidido tomar en consideración;

   j) definir (33) las tolerancias para las evaluaciones;

   k) seleccionar (34) los datos aceptables que se discriminan con respecto a los que se rechazarán de acuerdo con lo establecido en las etapas anteriores i) y j).
3. 3. Método de acuerdo con la reivindicación 1 o 2, en el que el procesamiento de los datos recibidos desde dicho módulo de control de sistema operativo/aplicaciones (11) de acuerdo con la etapa d) se realiza de acuerdo con la siguiente secuencia de etapas:

   l) analizar, por medio de un módulo de gestión de interfaz (13A), las vistas de pantalla del programa de aplicación o del sistema operativo que el usuario desea controlar mediante un control ocular y enviar (40) un módulo de mapeo de coordenadas (12A) de la información relacionada con las vistas de pantalla y los interactores presentes en la interfaz de usuario real; comprendiendo dicho módulo de gestión de interfaz (13A) un conjunto de instrucciones capaces de analizar las vistas de pantalla y de detectar la información relacionada con las mismas y los interactores relacionados; comprendiendo dicho módulo de mapeo de coordenadas (12A) un conjunto de instrucciones capaces de realizar un nuevo mapeo de las coordenadas relacionadas con las vistas de pantalla y los interactores relacionados;

   m) remapear (41) las coordenadas relacionadas con las vistas de pantalla y los interactores relacionados por medio de dicho módulo de mapeo de coordenadas (12A) por medio de una comparación con los datos relacionados con la mirada del usuario procedentes del rastreador ocular, permitiendo dicho remapeo definir las coordenadas procedentes de un módulo de cliente (13) relacionadas con la posición de los interactores en las vistas de pantalla, teniendo con respecto a otro sistema de ejes un origen diferente del que definen las coordenadas de las miradas procedentes del rastreador ocular; comprendiendo dicho módulo cliente (13) un conjunto de instrucciones capaces de definir la posición y la función de los interactores presentes en la vista de pantalla real;

   n) un módulo de gestión de interactor (12B) que comprende un conjunto de instrucciones capaces de realizar el

   5

   10

   15

   20

   25

   30

   35

   40

   45

   50

   control de las “miradas” entrantes con el fin de definir qué interactores se fijan por el usuario y de mostrar adecuadamente dichos interactores en la interfaz, tal como se define en reivindicación 1, dibujando nuevamente (42) los interactores presentes en los alrededores de las miradas detectadas mostrándolos adecuadamente, posiblemente modificados en la interfaz, usando técnicas heurísticas para decidir el orden de aparición determinando qué interactor se seleccionará más probablemente, en el que dicho módulo de gestión de interactor (12B) espera entonces los datos relacionados con las miradas procedentes del rastreador ocular y para selecionar uno de los interactores presentes en el panel lateral;

   o) un módulo de definición de acción nativa (12C), que comprende un conjunto de instrucciones capaces de definir la acción nativa asociada a cada interactor del sistema operativo y hacer que esté disponible para el procesamiento sucesivo, definir (43) la acción nativa del sistema operativo asociado con cada interactor (concretamente unos eventos correspondientes a la inserción de controles desde el teclado, un simple clic, arrastrar y soltar, etc.) y enviarla al módulo de gestión de acción nativa (13B) que comprende un conjunto de instrucciones capaces de recibir la información relacionada con la acción nativa asociada con el interactor seleccionado y ejecutarla como una acción en dicho sistema operativo;

   p) dicho módulo de gestión de acción nativa (13B) recibe la información relacionada con la acción nativa asociada al interactor seleccionado y ejecuta la acción (44) como una acción en el sistema operativo.
4. 4. Método de acuerdo con la reivindicación 3, en el que el proceso de remapeo de coordenadas de acuerdo con la etapa m) se realiza de acuerdo con la siguiente secuencia de etapas:

   q) realizar (50) una traslación de las coordenadas relacionadas con la información relacionada con las vistas de pantalla y con los interactores entrantes y enviar estos datos a un módulo de calibración adaptativa (15) mediante un módulo de traslación de coordenadas (14), que comprende un conjunto de instrucciones capaces de realizar una traslación de las coordenadas relacionadas con las vistas de pantalla y los interactores;

   r) reajustar (51) las coordenadas y enviar la información para actualizar el mapeo al módulo de traslación de coordenadas (14) mediante dicho módulo de calibración adaptativa (15), que comprende un conjunto de instrucciones capaces de realizar un reajuste adicional de las coordenadas por medio de una deformación geométrica del plano obtenido comparando la información sobre los interactores que el usuario puede seleccionar y las coordenadas de la mirada procedentes del rastreador ocular.
5. 5. Método de acuerdo con cualquiera de las reivindicaciones 1-4, en el que dicho módulo de gestión de interfaz (13A) realiza una búsqueda de los interactores presentes en las vistas de pantalla, de una manera continua, por medio de la siguiente secuencia de etapas:

   s) dicho módulo de gestión de interfaz (13A) pregunta (60) a las interfaces de programación de aplicaciones de accesibilidad (API) para rastrear la posición y las funciones de los diferentes interactores presentes en la vista de pantalla;

   t) dicho módulo de gestión de interfaz (13A) implementa (61) un algoritmo de cruce recursivo de un diagrama de ventanas presente en la vista de pantalla tratando de extraer información adicional con el fin de superar un obstáculo representado por la información posiblemente insuficiente obtenida por medio de las interfaces de programación de aplicaciones de accesibilidad;

   u) el módulo de gestión de interfaz (13A) consulta (62) una base de datos preformada de aplicaciones soportadas a partir de la que obtiene las estrategias para usar diversas aplicaciones, conteniendo dicha base de datos información general relacionada con, cómo se realizan dichas aplicaciones y dichos programas de aplicación.
6. 6. Programa informático que comprende unas instrucciones que, cuando el programa se ejecuta por un ordenador, hace que el ordenador, en cooperación con un rastreador ocular, realice las etapas del método de acuerdo con cualquiera de las reivindicaciones 1-5.