PT2476043T - Método e aparelho para utilização de aplicações de software genérico através de controlo ocular e métodos de interação adequados - Google Patents

Description

documento acima. Era particular, os olhos devem ae comportar s .1. rrral t an earner t e como dispositivos de entrada a saida? ou seja, devem. explorar e xealizar ações verdadeiras, Novamente, os dispositivos de rastreamento de olhos sofrem problemas intrínsecos de precisão na medição da posição do olhar na tela. Portanto, a precisão do sensor sempre é afetada por um erro (a diferença entre a posição ||||||||||:Í||Í^líÍs iiiÉiiof he ebrÉ. em ã:Jpdil,çã||did: hdhidlllllllllls::,. desojada pelo utíiisatíor) e isso não faz com qua o controlo da maioria dos aplicativos de software seja fácil, dado que muitos programas de software erigem uma precisão de alguns milímetros e outros também, exigem uma precisão avaliável em termos de pixels.

Assim, o uso de sistemas de rastre&mento ocular geralmente é limitado a software feito especificamente para utilizadores com deficiência em que ê necessária uma precisão apontadora baixa. Na verdade, o utilizador deve fazer a sua seleção a partir de uma lista de células re1ativamente grandes nas quais o efeito do erro G&0 Jp 2Γ0 CjL S 0 O 0 v

Sm vez disso, no campo das aplicações de software de uso comum, o emprego de. sistemas de rastreamento de olho para controlar a aplicação, por exemplo, por meio do movimento do cursor que é atualizado muitas vezes por segundo seguindo a direção do olhar, o erro de precisão torna a tarefa do utilizador muito difícil, para quem é necessário um esforço significativo de concentração, o que logo gera fadiga.

Qualquer tentativa do utilizador de corrigir o erro ao redirígir o seu olhar para a posição onde o cursor deve ser posicionado não faz mais do que tornar o uso do cursor cada vez mais problemático e cansativo. llpglpiá polIlideS'' em u|b|jhp:. l§|ád§|' ;dã. :;artÍÍfiiriéqÍÃ á | do problema acima mencionado por meio da ampliação de uma parte da exibição do computador pessoal, de modo a melhorar a precisão no posicionamento do cursor. Dm exemplo é dado na publicação do pedido de patente europeia EP 167957? Ά.1, àbiúçid páii: iéiibill .:inf;Étll$:i:©illlÉÊlllÍIÍfe exibição de um computador com base em um sinal de dados de rastreamento ocular, que descreve uma série de objetos manipuláveis exibidos no visor, Cada um desses objetos estendendo-se sobre uma respetiva região ociosa e representando graficamente um componente GUI que é controlável em resposta ao sinal de dados de rastreamento ocular. A exibição também mostra uma zona de modificação exibindo uma representação graficamente modificada de, pelo monos, um dos objetos na matriz. Cada representação na zona se estende sobre uma região ativa respetiva, que é maior do que a região ociosa.

No entanto, esta abordagem é insuficiente porque o erro de compensação também permanece nesses casos, continuando a frustrar o utilizador e, além disso, implica uma maior complexidade da interface que pode criar confusão e distração.

Outras soluções atualmente disponíveis implicam a aparência de .menus "off-screen" que permitem ao utilizador selecionar qual ação executar, emulando as diferentes operações que podem ser realizadas com o rato (dique único, duplo clique, dique direito, arrastar e soltar) ,

Novamente, em alguns casos, as funções desejadas podem ser ativadas apontando o olhar em ícones dispostos em tiras de papelão revestido de plástico fino que estão posicionadas no perímetro vertical do monitor; asaira, o olho deve selecionar as funções externas ao mesmo antes de ativá-las no ícone ou na função desejada e, em seguida, mover o cursor que será orientado pelo olhar para os ícones ou aplicativos desejados,

Sm outros casos, também é possível dirigir um segundo PC, conectado com o sistema de rastreamento ocular, cujo monitor !!!! .i:lS:ÍJÍ;I;s|Í|^ :i:|i l;i;#pllÍ|;i: :ÍipÉÉ|;^!Í|pSi |||||Ρ:||ϊ| | para dar ao utilizador a oportunidade de observar facilmente o controlo do rato sobre os aplicativos.

As direções do ponteiro do rato são ativadas com o olhar na tela exibida no monitor do dispositivo de rastreamento d.e olho e, uma ver que a direção é selecionadar o efeito ê observado no outro PC; assim que o olhar for removido do PC a ser controlado, o ponteiro para e os comandos desejados podem ser selecionados. Assim,· o segundo PC conectado pode ser orientado com o sistema de rastreamento ocular, por meie da emulação do rato.

Em principio, podemos afirmar que., ao contrário do que foi implementado até à data, seria desejável ter um ecrã em que os elementos representados nâo interferissem demais com o uso normal do software pelas seguintes razoes: a atenção de o utilizador declina ex.ponenc.1 a Imante com o crescente número de elementos representados na tela, o utilizador normalmente tem pouca familiaridade com os dispositivos de rastreamento ocular e, além disso, pode ser afetado por deficiências cognitivas, de modo a tornar proibido o uso de um dispositivo de rastreamento ocular..

Feias razões acima mencionadas, é o objetivo da presente invenção proporcionar um método para controlar um computador pessoal por meio de um sistema de rastreamento de olho que supera as desvantagens listadas acima,

Um dos principais requisitos é o de minimizar o esforço cognitivo necessário para manipular o software, assegurando que a interface aceita entradas "naturais” e responde ”naturalmenfcew e é facilmente compreensível.

Por este motivo, será necessário desenvolver uma interface que utilize técnicas de interação que nâo sejam stressentes para o utilizador. Dado que muitas das entradas não são intencionais, o sistema deve interpretá-las cerretamente sem produzir respostas não solicitadas causadas por ações involuntárias. Ease sistema, portanto, deve ser capaz de distinguir entre a verdadeira vontade do utilizador, deixando-o observar a interface de forma pacifica se não for sua intenção de dar um comando; por outro lado, o utilizador deve ser capaz de avaliar qual o status atual do sistema, de modo a pe.rce.ber se as suas intenções foram interpretadas corretarcente, para evitar a execução de comandos involuntários.

Taiabém deve ser sublinhado que enquanto os sistemas do estado da técnica controlam os sistemas operacionais por meio da emulação do rato através do controlo ocular (conversão do movimento do olhar em movimento do cursor), o objeto da presente invenção fornece um remapeamento dos interativos "originais" 3o sistema operacional do computador pessoal (ícones, etc.) em novos interativos modificados e adaptados ao modo de seleção por meio de controlo ocular.

Portanto, a presente invenção estabelece uma espécie de "canal direto", uma vez que a emulação do cursor é superada pelo facto de que os interativos nativos são substituídos por aqueles modificados e adaptados à necessidade de usar o olhar como. sistema de entrada.

Além disso, o uso de uma Máquina Virtual, que permite gerir e criar um ambiente virtual para realisar um sistema operacional adicional com aplicativos de software relacionados e que o utilizador pode usar simultaneamente com o iniciado, pode oferecer maia vantagens. Um deles é de segurança: uma máquina virtual é completamente isolada e independente e uma queda repentina da máquina virtual não envolve a quebra do sistema operacional de hospedagem; portanto, reiniciar o computador não é necessário, mas apenas encerrar a máquina virtual e iniciá-

Io novamente, evitando danos f por exemplo, do sis tersa de arquivos.

Como o método de acordo com a presente invenção pode ser integrado num conjunto de comunicação, usando a máquina virtual, é possível mover de forma simples, rápida e segura (por meio da suspensão da máquina virtual) a utiliração das aplicações clássicas de PC, por meio das técnicas de controlo descritas abaixo, para o conjunto de comunicação projetado espeoificamente para ser usado através do controlo ocular,, superando os problemas dos sistemas no estado da arte, que fornecem procedimentos bastante complicados para se deslocar de um modo para o outro.

Ao mesmo tempo, o utilizador pode escolher diretamente, por mero de atalhos adequados, realizar algumas aplicações predefinídas dentro do conjunto de comunicação, superando assim o problema da. possível execução direta do sistema ''

Breve descrição das figuras A Fig* 1 mostra o diagrama de blocos da arquitetura do método de acordo com a presente invenção♦ A Fig, 2 mostra o diagrama de fluxo do método de acordo com •a presente invenção. A Fig« 3 mostra o diagrama de fluxo do módulo relativo à filtragem dos dados aproximados provenientes do dispositivo d© rastreamento de olho. A Fig. 4 mostra o diagrama de fluxo relativo ao Módulo de

llíGbilidld: dt III A Fig, 5 mostra o diagrama de fluxo relativo ao Móduxo de Mapeamerito de Coordenadas. A Fig. 6 mostra o diagrama de fluxo relativo às estratégias de recuperação de dado® relacionadas aos interativos nas visoaiilações da bela *

As Figs. 7 - 10 mostra, a título de exemplo não limitativo, uma possível implementação da interface gráfica, do objeto de apMeagã© da presente invenção,:

Sumário da invenção 0 objeto da presente invenção consiste num método © num programa informático correspondente para o uso de aplicações genéricas de software por meio de controlo ocular, de acordo com as reivindicações 1 e 6, respetivamente, As reivindicações dependentes definem ainda formas de realização preferidas. As reivindicações fazem parte integrante da presente descrição. 0 método objeto da presente invenção descreve, portanto, uma possível implementação de uma tecnologia assistida, extremamente inovadora em termos de controlo de aplicações genéricas de software, com base no uso de entradas a1ternativos e naturei s, como o o1har.

Descrição detalhada da invenção j|||||Íi||||I ::ίθ:ϊ|||1||:|ΐ da préiiphie dhvéhffib.r oilllf aparelho objeto da presente invenção compreende meios eletrónicos de dados e de processamento de informação, meios para memorizar os referidos dados e informações e meios de !!!!!!!!!ii!!;r^

Os referidos meios de processamento de dados e dados eletrónicos compreendem, urna secção de controlo adequada, de preferência com base em, peio menos, um microprocessador, e pode, por exemplo, ser fornecida por um computador pessoal.

Os referidos maios de memorização preferencialmente compreendem discos rígidos e dispositivos de armazenamento de tip© flash. Os rei:erido3""msios da interface de utilizador preferenci a Imen te compreendem meies de visual izgção de dados» tais como# por exemplo# ecrãs# monitores ou unidades de saída externa análogas e dispositivos de rastreamento de olhos adaptados para interpretar a direção do olhar do utilizador, 0 referido microprocessador ê de preferência equipado com um si.eterna ppèrh:ÉiÍ:Ía.i:if^ ilif&amp;a, 'virtual·. :íseio; da utrlltalili: âi|||tpã· e por p||l|i:ipgra|ia,.ill?' de software adequado que implementa um método cuja arquitetura# descrita na Figura 1# compreende os seguintes módulos# em turno compreendendo uma série de instruções adaptadas para executar uma tarefa específica; um módulo de filtragem 10 em que as coordenadas do olhar do utilizador são processadas de modo a tornar mais estáveis os dados aproximados provenientes do dispositivo de rastreamento de olho usado; um módulo, ou seja# um Sistema Operacional/ Controlo de Aplicações 11# responsável pelo controlo do sistema operacional e os aplicativos associados e para o desenvolvimento das interfaces gráficas de aplicativos em desenvolvimento# que contém as informações sobre os interativos na tela e executa a ação nativa associada ao interativo fixada pelo utilizador naquele momento, os ditos interativos são os elementos ativáveis na interface; os .ícones, os menus pop-dawn, as caixas de verificação etc,# adaptadas para que o utilizador realize ações no programa de aplicativos a ser controlado, 0 referido Módulo de Controlo do Sistema Operacional/ Aplicações 11 é formado por dois snb-módulos de componentes; um Módulo de Controlo 12 e um Módulo de Cliente 13. 0 referido Módulo de Controlo 12 é responsável pela gestão da aprese n t a ç a o dos interativos e pela definição da ação nativa associada a cada. ara deles e, por saa vez, compreende três módulos adicionais que interagem, uns com. os outros; - um. Módulo de Mapeamento de Coordenada.» Í2A que se encarrega de realizar o remapeamento das coordenadas relativas às visualizações de tela e aos interativos no mesmo (diferentes entre Cliente e Controlador5; - um Módulo de Gestão Interativo 12B que é responsável por realizar a comparação com o olhar entrante para definir quais os interativos são fixados pelo utilizador e apresenta-os, adequadamente e possivelmente modificados, na interface, por exemplo, em um painel lateralí - um Módulo de definição de ação nativa 12C que é responsável por definir a ação nativa associada a cada interativo do sistema operacional e enviá-lo ao referido módulo de cliente 13, tornando-o dispo.ni.vel para o processamento sucessivo „ 0 referido Módulo de Mapeamento de Coordenadas 12A, por sua vez, consiste em dois sub-módulos que interagem uns com os lltblii ujtj|li|at“|||duio|l liliiiiipio <||! ίίϊ||||^·· realiza uma tradução das coordenadas relativas a !!!!!!!!!i&amp;:í$|§ill tti!!; telalllil Éltitáfivodl! e :

Calibração Adaptativa 15 que carrega um novo ajuste das coordenadas por meio de deformação geométrica do plano obtido comparando a informação sobre os interativos que o utilizador pode selecionar 8 as coordenadas do olhar provenientes do olho-rastreador, os resultados das ações combinadas de esses 2 módulos são os descritos acima no Módulo de Mapeamento de Coordenadas 12A. 0 referido Módulo de Cliente 13 está adaptado para definir a posição e a função dos .interativos na vista de tela ef por sua vez, compreende dois módulos adicionais que interagem 1 ii^dnliellliilt 11 'Jiiul©:: Ip: .Glitllllliiiil responsável por analisar as visualizações de tela e enviar as informações relacionadas e aos atuais interativos., detetados por meio de diferentes métodos de busca, ao Module Controlador 12; o Módulo de Gestão de Ação Nativa 13B, que é responsável por receber as informações relativas â ação nativa associada e por executa-ias como ação no referido g i stema operaclona1.

Em referência à Figura 2, é mostrado um diagrama que representa a operação dos módulos mencionados acima e as intercone.xões entre si ilustrando as etapas do método de acordo com a presente invenção; a) Nos referidos meios de visualização de dados associados aos referidos meios de processamento de dados, uma interface de utilizador de controlo adaptada para permitir ao utilizador controlar o sistema operacional e são visualizados os programas de aplicação associados aos mesmos dos meios eletrónicos de processamento 20, : 1111111¾ :ã||!ibiifdénill:!: 'do·; piMar- :|db |bbdíéiiÍÍÍi|Íll;|N ihfffá. :§|||Éãdç® illllllpro^lliliós::,,· bllll bbga* #| 1 ã|f|§ii|||ii ib coordenadas do olhar dos dois olhos separados, que estão sujeitos a fortes oscilações, são detetados pelo dispositivo de rastreamento de olho 21, composto dos ditos meios de interface de utilizador. Essas oscilações geralmente ocorrem sobre uma determinada posição, mas também há alguns olhares que são totalmente erróneos e devem ser eliminados por meio de uma operação de filtragem. c) Os dados difundidos são filtrados 22 de modo a torná-los estáveis e adequados para fornecer indicações sobre as fixações do utilizador, cu seja? sobre o número de olhares do utilizador em certos ambientes. d) Os dados filtrados expressos em coordenadas x, y do ponto fixo são enviados para o Módulo de Sistema Operacional 23/ Controlo oe Aplicações 11 que os processa definindo a ação a ser realizada e as modificações a serem feitas na referida interface d© utilizador, e) A. ação a ser realizada determinada pelo passo anterior é realizada 23 ef possivelmente, a referida interface de utilizador de controlo é adequadamente modificada após a 1111111 açld: lift! I Iff £> A sequência é repetida a partir da etapa b) até o utilizador decidir deixar o programa de aplicação que ele/ ela esta a usar, 0 procedimento de filtragem de dados aproximados de acordo com. o passo e) é realizado de acordo com a sequência indicada i !ÍÍp:ÍXÍS: IP i g) Uma pré-filtragem 30 dos dados em bruto ê realizada e as amostras não validas são detetadas e eliminadas asando# por exemplo, critérios estatísticos, h) As coordenadas do olhar do olho direito e do olho esquerdo são combinadas 3.1 em um ponto considerado provável de aer o fixado pelo utilizador, i> A média e o desvio padrão são calculados 3.2 em relação ao número de amostras desejadas (definido com base no número de amostras que foram decididas a priori para levar em "iillllll li ||| j) As tolerâncias são definidas para as avaliações 33, ,k) Os dados aceitáveis são discriminados 34 em relação aos que serão rejeitados com base no que foi estabelecido nas etapas anteriores i) e j).

Os dados filtrados enviados para o Sistema Operacional/ Módulo de Controlo de Aplicativos 11 são processados de acordo com a sequência indicada abaixo e ilustrada na Figura 111^ 11! 1> Q Módulo de Gestão de Interface 13&amp; analisa s visualizações da tela e envia 40 as informações relativas às visualizações de tela e aos interativos na interface de utilizador atual ao Módulo de Mapeamenta de Coordenadas 12A< m) 0 Módulo de Mapeamento de Coordenadas 12Ά realiza o remapeamento das coordenadas relativas às visualizações da tela e aos interativos e realiza uma comparação com os dados relatives ao olhar que vem do rastreador de olho. O referido remapeamento permite que as coordenadas provenientes do Módulo Cliente 13 relativas à posição dos interativos nas vistas de tela a serem definidas era relação a outro sistema de eixos com origem diferente do que ê baseado em que as coordenadas dos olhares provenientes do olho ~ o dispositivo de trilho é definido. Uma vez realizada esta operação, a comparação permite entender qual interativo é fixado pelo n) 0 Módulo de Gestão do Interativo 12B desenha novamente 42 os interativos presentes nos arredores dos olhares detetados mostrando-os adequadamente (por exemplo, em: um painel lateral da interface de utilizador especifica do programa) usando técnicas heurísticas para decidir a ordem de aparência determinando qual interativo será provavelmente selecionado. Isso permite mostrar cada. interação de maneira "ponderada”, do mais ao menos provável. 0 Módulo de Gestão do Interativo 12B aguarda os dados relativos aos olhares provenientes do olho-rastreador e para a seleção de um dos interativos no painel lateral. ο) Ο Módulo de definição de ação nat-iva 12C define 43 a ação nativa do sistema operacional associada a cada. interativo (oc. seja, eventos que sto simulados pelo Módulo do Cliente 13 e correspondem a inserções de controlos do teclado, clique simples, arrastar e soltar, etc.) e o envia para o Módulo de Gestão de Ação Nativa 13B. p) 0 Módulo de Gestão de Ação nativa 23B recebe: as informações relativas à ação nativa associada ao interativo selecionado e o realiza 44 como ação no Sistema Operacional (por exemplo, enviar caracteres, mover o rato na posição especifica, etc«. }. 0 processo de /rape ament o das coordenadas d.e novo de acordo com. o passo m) da sequência ilustrada, na Figura 4 ocorre de acordo com a sequência indicada abaixo e ilustrada na Figura 3?·* < q) 0 Módulo de Tradução de Coordenadas 14 realiza 50 uma tradução das coordenadas relativas a visualizações de tela e interações de entrada e envia esses dados para o Módulo de Calibração Adaptaiiva 15. r) 0 Módulo de Calibração Adaptativa 15 executa 51 um novo ajuste das coordenadas, por meio de deformação geométrica do plano obtido comparando a informação sobre os .interativos que o utilizador pode selecionar e as coordenadas do olhar provenientes do olho-rastreador, e envia as informações para atualizar o mapeamento para o Módulo de Tradução de Coordenadas 14. 0 Módulo de Gestão de Interface realiza continuamente a huaca dos interativos .nas telas de visualização durante todo o processo descrito acima, por meio do uso das etapas descritas abaixo e ilustradas na Figura 6; s) 0 Móclulo de Gestão de Interface Í3A consulta 60 a API (Interfaces de Programação de Aplicação) das funções de acessibilidade pars xastrear a posição e as funções dos diferentes interativos na página. t) 0 Módulo de Gestão de Interface 13Ά implementei .61 um algoritmo de cruzamento recursivo do diagrama de janelas na página enquanto tenta extrair informações adicionais (para superar o obstáculo representado pela informação insuficiente obtida através da. API de acessibilidade) .

uO método descrito permite, por exemplo, um utilizador desativado usar um computador pessoal equipado, por exemplo, com um sistema operacional e com programas de aplicativos como o Windows® e o pacote Microsoft® Office®.

As ações realizadas pelo utilizador são descritas abaixo em detalhes : ~ 0 utilizador é organizado na frente do clho-rastreador conectado a um monitor no qual á visualizada a tela do sistema operacional/aplicatívo desejado para ser controlado II ;pir'|||ddd. ||lilmsvlm®iil:ls: póuflÉef lllllll 0 utilizador fixa, por exemplo, o icone Iniciar na barra de :lá|l|iaflvlllid Wlndilipis^. çlidiid ::dâ ápliíiáÇf^

Word® e da barra do Windows®: o olhar move-se em. ambientes específicos para as característieae intrínsecas do rastreador de olho. Devido a isso e ao possível © intrínseco erro de precisão do dispositivo de rastreamento ocular, o que o utilizador está fixando s qual é a intenção dele pode não ser dito cora -certeza. Para evitar este problema, todos OS interaqent.es no entorno do olhar (por exemplo, botão Iniciar., ícone do programa Word®, Windows®) sào mostrados em um painel lateral, adequadamente para seleção por meio de controlo ocular (tamanhos bem espaçados e adequados). Esses interativos são detetados por meio de estratégias adequadas d. e recuperação de dados (tipo, posição, etc.) relacionadas aos interativos na tela (consulta de API de acessibilidade, 0 utilizador fixa o interativo de interesse no painel lateral e, como os botões estão .bem espaçados e de tamanho© adequados, não há ambiguidade em relação à escolha do utilizador. 0 botão é, portanto, selecionado e a ação consequente é realizada.

Em maior detalhe e em referência às figuras anexas 7-10, o utilizador, em primeiro lugar, organiza-se na frente do olbo-rastreador conectado a um monitor no qual ê visualizada a visão de tela 70 do sistema de operação/aplicativo desejado

para piipldôntroladà. pipilieip de :mdviitéhli:Il!Íid|Étds II O utilizador fixa, por exemplo, o ícone Iniciar na barra de aplicativos do Windows®, perto do qual é o ícone para a ||||||||||||lil:|ij|:|:|l^ ;bâ;r||l|o-' 'WíudowsiiílIlO olhar li ambientes específicos para as características intrínsecas do rastreador de olho. Devido a. isso e ao possível e intrínseco erro de precisão do dispositivo de rastreamento ocular, o que o utilizador está fixando e qual é a intenção dele pode não ser dito com certeza (Figura 7},

Todos os interativos ao redor do botão 71 (por exemplo, botão Iniciar, Ícone Word®, Windows®)) são mostrados em um painel lateral 72, adequadamente para seleção por meio de controlo ocular {bem espaçados e de tamanhos adequados)» Esses interativos são detetados por mexo de estratégias adequadas de recuperação de dados (tipo,, posição, etc.) relacionadas aos interativos na visualização de tela (consulta de API de acessibilidade, cruzamento recursivo do diagrama de janelas, banco de dados de aplicativos predefiràdos) e são mostrados em uma "ponderada" "de acordo com a ordem obtida por melo de técnicas heurísticas (do mais provável ao menos provável) jí ................. 0 utilizador fixa o interativo de interesse 73 no painel lateral 72s como os botões estão bem espaçados e de tamanhos adequados, não há ambíguidade em relação à escolha do utilizador (Figura 3} . 0 botão ê selecionado e a ação consequente é realizada.

Após a. seleção do botão Iniciar do painel de interações, a ação ê realizada (Figura 10), ou a janela é aberta 74 em relação à solicitação. O painel de interações 72 é esvaziado enquanto espera ser preenchido novamente com novos interativos seguindo os olhares sucessivos do utilizador.

REIVINDICAÇÕES 1. Método para o uso de aplicações de soft.ware genéricas por meio de controlo ocular compreendendo as seguintes etapas; a) visualise.::: {10) em meios de visualização fornecidos adequados associados a meio de processamento de dados adequado uma interface de utilizador de controlo para pérmit;l:||li:' ίΙΙΙϊίϊίϊίΙ^^ ç©nfcr@l®· um s;i;sté|Í|:: operacional e o programas de aplicação associados dos referidos meios de processamento de dados; b.) detetar (2,1} por meio de um dispositivo de rssfcreamento, de olho ou r&amp;stre&amp;dor de olho, compreendido em meios de interface de utilizador adequados associados aos ditos meios de processamento de dados, as coordenadas do olhar do utilizador na forma de dados aproximados, nomeadaxaente de amostras referentes às coordenadas do olhar do olho de ..................................diid 'çtixida^^ os filtragem (223 dos ditos dados aproximados para torná-los estáveis e adequados para fornecer indicações sobre as fixações do utilizador, nomeadamente sobre o número de olhais do utilizador dentro de certos ambientes; d) enviar (23) os dados filtrados, expressos em coordenadas x, y de um ponto fixo, para um Módulo de Sistema operation al /Con tro Io de Aplicativos (11),: processando-os definindo uma ação a ser realizada e as mudanças a serem introduzidas no referido controlo interface de utilizador; o Sistema de Operaeâo/Modulo de Controlo de Aplicativos (11) que inclui um conjunto de idtirúççip lpi:iilllddutróid;r' p|||i;i.a:|:e|Ba: ;jj aplicativos relacionados e para gerenciar a interface lllllllllllllliilíidá; dil|á|3i:i:dã;|lilip. :éilii;|illig|í|: ddiiití m lilirÉdilill sobre os interativos pre j>v3 Π S 6ΓΠ Χ)ΪΓί<3. tela e para realizar

Claims (6)

1. uma ação nativa associada a um interativo· fixado pelo utilizador ne ss e mosses t o ? e) realizar a ação determinada pelo passo, anterior e, no caso de ser necessáriof modificar adequadamente a referida interface de utilizador de controlo de acordo 1111 diillll!á|l|:i || £} repetir a sequência a partir do passo b) até que o utilizador decida deixar o programa de aplicação que ele está usando, em que c dito passo d) compreende ainda as etapas de detetar quais interativos estáo presentes em torno do olhar do utilizador, modificando os referidos interativos e exibindo os referidos ints.rsgent.es modificados em um. painel lateral na referida interface de ilililililip cdiiiipiOi, aeíiip. -|:·Ε'^·ίκ·!οΐ^ιαί^'; modificados adequadamente dimensionados e espaçados e adaptados para serem selecionados de maneira eficiente
2. 2, Método de acordo com a reivindicação 1, em que © procedimento de filtragem de dados aproximados de acordo com o passo anterior c) é realizado por meio das seguintes etapas; «g) pré-filtragem (30) dos referidos dados aproximados, detetando e eliminando amostras não válidas que utilizam critérios1 estatísticos; h) combinar (31) as coordenadas do olhar do olho direito e do olho esquerdo em um ponto que ê provavelmente o fixado pelo utilizador; i) calcular (32) a média e o desvio padrão em relação ao número desejado de amostras, definido de acordo com o lllllllllliilpd liéilllliiatrasl ^ailliiifiifíl d|||i!|:i|jl. ^idiidiáb: si:ll%:çsiáiilll em consideração; 15 definir (33) as tolerâncias para as avaliações; k) selecionar (34) os dados aceitáveis que são discriminados em relação àquelas a serem rejeitadas de acordo com. o que se refere nos passos anteriores i) e j! - : |!!l
3. 3. Método de acordo com a reivindicação 1 -ou 2,- em que o processamento de dados recebidos do referido Módulo de Controlo de Sistemas Operacionais/Controlo de Aplicações (115 de acordo com a etapa d) é realizado de acordo com a seguinte aequência: da etapas: 1} análise, por melo de um Módulo de Gestão de Interface (13&amp;) as visual!rações de tela do programa aplicativo ou do sistema operacional que o utilizador deseja controlar por controlo ocular e enviar (40) um Módulo de Mapeamento de Coordenadas (12A) das informações relativas às visualizações de tela e ao &amp; interativos presentes na interface de utilizador real; o referido Módulo de Gestão de Interface (13A) que compreende um conjunto de instruções capazes de analisar as visualizações da tela e detetar as informações a respeito delas a os interativos relativos; o referido Módulo de Mapeamento de Coordenadas U.2&amp;) que compreende um conjunto de instruções capazes de realizar um novo mapeamento das coordenadas relativas às visualizações de tela e aos interativos relativos; llllllllll mi |!!!!!||:!^i||::||!|!|!|| codriiliiilailll" rdiaMililllllÉs. visualizações de tela e aos interativos por meio do referido Módulo de Mapeamento de Coordenadas Γ12Ά) por 1||||||||pip deã:i;||ma $||§||^^ utilizador que vem do ra streader de olho, o dito remapeamento permite definir as coordenadas provenientes :®dul:|:|||||||i|i lldl :^|i||lpi.d:|id|i| :i:|i|si:í|:|pí ddllli interativos nas visualizações de tela,, em relação a outro sistema de eixos com. uma origem diferente da que define as coordenadas dos olhares vindos do olho-rastreador; o referido Módulo Cliente (13) que compreende um conjunto de instruções capares de definir a posição e a função dos presentes interagentes na visualização de teia real; n) um Módulo de Gestão de Interativos C12B} que compreende um conjunto de instruções capazes de realizar o controlo dos ‘'olhares" recebidos para definir quais os interativos são fixados pelo utilizador e para mostrar adequadamente os referidos interativos na interface, conforme definido em reivindicação: 1, desenhando novamente (:4:2:): os interativos presentes nos arredores dos olhais detetados, mostrando-os adaquadamente, possivelmente modificados na interface, usando técnicas heurísticas para decidir a ordem da aparência, determinando qual o interativa que provavelmente será selecionado, em que o referido Modulo de Gestão de 'Interativos (12B) aguarda então os dados relativas aos olhais provenientes do rastreador de olho e para a seleção de um dos interativos presentes no painel lãilfiit o) um Módulo de Definição de Ação Nativa (12C), que inclui um conjunto de instruções capazes de definir a ação nativa associada a cada interativo do Sistema Operacional e para tí,i spon ifeili z â~Io pa ra o proces samento suce s siνα, def ine (43) a ação nativa do Sistema Operacional associado a cada interação (ou seja, eventos correspondentes à inserção de controlos do teclado, clique simples, arrastar e soltar, etc.) a o envia para o Módulo de Gestão de Ação Nativa (13B), que inclui um conjunto de instruções capazes de receber as informações relativas a para a. ação nativa associada ao interativo selecionado e executá-lo como ação no referido sistema operacional:^ p) o Módulo de Gestão de Ação Nativa (13B) recebe a informação relativa á ação nativa associada ao interativo selecionado e executa a ação (4 4) corso ação no Sistema Operativo,
4. 4, Método de acordo com a reivindicação .3, em que o procosao de remapsarnento de coordenadas de acordo com a etapa m) é realizado de acordo com a. seguinte sequência de etapas; q) um Módulo de tradução de coordenadas (14), que compreende um conjunto de instruções capares de realizar uma tradução das coordenadas relativas às visualizações de tela e aos interativosf realiza (50) uma tradução das coordenadas relativas às informações relativas às visualizações da teia e aos interativos que se aproximam e envia esses dados para um Módulo de Califoração x) O referido Modulo de Calibraçào Adaptativa (15), que compreende um conjunto de instruções capazes de realizar um novo ajuste das coordenadas por meio de deformação geométrica do plano obtido comparando a informação sobre os interativos que o utilizador pode selecionar e a coordenadas do olhar que vem do olho-rastreadorq reajusta (51) as coordenadas e envia as informações para atualizar o mapeamento para o referido Módulo de T redução de SdirdèiÉilp llilllll!
5. 5. Método de acordo com qualquer uma das Reivindicações 1~ 4, em que o referido Módulo de Gestão de Interface (13A) realiza uma busca dos interativos presentes nas visualizações de tela, de forma continua, por meio da seguinte sequência de passos; s) o dito Módulo de Gestão de Interface (13A) questiona (SO) a acessibilidade da Interfaces de Programação de Aplicação - API ~ para rastrear a posição e as funções do.» diferentes interativos presentes na tela; ΐ,} ο referido Modulo de Gestão de Interface (13A) implementa (61) um algoritmo de cruzamento recursivo de um diagrama de janelas presente na teia? tentando extrair informações adicionais para superar um obstáculo representado por informações possivelmente insuficientes obtidas por meio da acessibilidade das Interfaces de programação de aplicativosι u) o Módulo de Gestão de Interface (13A) consulta (62) um banco de dados preformado de aplicativos suportados a partir do qual obtêm as estratégias para o uso de várias aplicações, o referido banco de dados contendo informações gerais sobre como as referidas aplicações e os referidos programas d.e aplicativos são feitos.
6. 6, Programa de computador que compreende instruções que, quando o programa é executado por um computador, fazem com que 0 eomputa-dor,. em cooperação com um rastreader ocular, execute as etapas do método de acordo com qualquer uma das reivindicações 1--5 >