SE529599C2 - Alstring av grafisk returinformation i ett datorsystem - Google Patents

Description

529 599 2 och för att effektivisera samt göra datainmatningen mera använ- darvänlig har olika slags lösningar föreslagits.

US, 5,367,315 beskriver en metod och en apparat för att styra markörrörelser på en datorskärm baserat på en användares ögon och huvudrörelser. Systemet aktiveras genom manipule- ring av en bestämt knapp eller brytare. Därefter kan användaren positionera markören på godtycklig position på skärmen genom att röra sina ögon och huvud på samma sätt som med en kon- ventionell mus. Specifikt utnyttjas infraröda detektorer för att av- göra den relativa positionen för användarens huvud inom ett de- finierat aktivitetsområde, så att markörens position på skärmen beror av huvudets position inom aktivitetsområdet. Användarens ögon används här primärt som ljusreflektorer för att avgöra för- ändringar i huvudpositionen inom aktivitetsområdet. Sålunda etableras ett förhållande mellan ögonen/huvudpositionen och markörpositionen.

US, 6,215,471 redogör för synpekarmetod och -apparat, varvid en användare styr rörelserna hos en pekare på skärmen genom en motsvarande rotation eller rörelse hos ett visuellt identifier- bart kännetecken, såsom ett ansiktsdrag. Dessutom kan använ- daren genom att förändra ett föränderligt visuellt kännetecken, exempelvis genom att sluta ett öga, alstra styrsignaler represen- terande musklick och liknande funktioner. I analogi med ovans- tående lösning finns det även här ett nära förhållande mellan positioneringen av det identiflerbara kännetecknet och pekar- positionen på skärmen.

US 6,204,828 uppvisar ett datordrivet system för att assistera en operatör vid positionering av en markör på en skärm. Här beräk- nar systemet operatörens blickpunkt på skärmen, och placerar initialt markören inom en blickarea identifierad av denna position. En mekanisk inmatningsanordning, exempelvis en mus eller ett tangentbord, används sedan för att styra markören från den initiala positionen till en avsedd slutposition på skärmen. 10 15 20 25 30 529 599 3 Den första två lösningarna ovan är problematiska eftersom det vid användande av dessa strategier kan vara svårt för användaren, som kanske är en handikappad person, att styra sitt huvud eller blick med tillräckligt hög noggrannhet för att placera markören på en önskad plats på skärmen. Dessutom kan, även om användaren är kapabel att styra sin kropp med mycket hög noggrannhet, olika slags brister i följningsutrustnin- gen introducera mätfel vid registrering ögonens/huvudets respektive blickpunktens position, så att det ändå blir svårt, eller åtminstone tröttsamt att uppnå det önskade resultatet. Den sistnämnda lösningen innebär en förbättring i det här avseendet, eftersom användaren här kan kompensera för eventuella fel i den mekaniska inmatningsanordningen. Icke desto mindre är manipulering av sådana mekaniska anordningar förknippad med uttröttning, repetitiva utmattningsbelastningsskador etc. Därtill är en mekanisk inmatningsanordning, såsom en konventionell mus, relativt långsam och fordrar en viss aktionsyta, antingen på skrivbordet eller en anordningsyta (i fallet med en bärbar dator). I vissa fall finns det ingen sådan yta tillgänglig, eller det är problematiskt att tillhandahålla det erforderliga utrymmet.

SAMMANFATTNING AV UPPFINNINGEN Syftet med uppfinningen är därför att erbjuda en lösning, vilken mildrar problemen ovan och sålunda tillhandahåller ett använ- darvänligt och ergonomiskt passande medel att högeligen effek- tivt sätt styra ett datorsystem med hög precision.

Enligt en aspekt av uppfinningen uppnås syftet genom det inled- ningsvis beskrivna datorsystemet för att visa information, varvid systemet inkluderar åtminstone en avbildningsanordning anpas- sad att vidareförmedla en representation av bilddatat till databe- arbetningsenheten, vilken i sin tur är anpassad att presentera re- turdatat på ett sådant sätt att datat under en initial fas alstras ba- serat på en absolut position hos blickpunkten, och under en fas efterföljande den initiala fasen, datat alstras baserat på bilddatat. 10 15 20 25 30 529 599 4 Detta system är fördelaktigt genom sitt snabba gensvar och myc- ket intuitiva användargränssnitt. Under den initiala fasen kan returdatat presenteras i relativt nära anslutning till den skärmyta mot vilken användarens blick faktiskt är riktad. Den föreslagna efterföljande fasen medger att användaren finjusterar returdatat i förhållande till den initiala positionen genom att röra en vald kroppsdel, och kan sålunda alstra styrkommandon återspeglande en relativ förflyttning. Detta erbjuder såväl en hög flexibilitet som en stor frihet vad gäller den kroppsdel som används.

Enligt en föredragen utföringsform av den här aspekten av upp- finningen är databearbetningsenheten anpassad att motta ett användaralstrat startkommando, och inleda den initiala fasen som svar på ett mottagande av startkommandot. Därmed uppnås en otvetydig timing av det returdata som presenteras som svar på blickpunkten. Detta förbättrar i sin tur kvaliteten hos använ- dargränssnittet. Beroende på implementeringen och använda- rens preferenser kan startkommandot alstras genom aktivering av ett mekaniskt inmatningsorgan, ett röstkommando, placering av blickpunkten inom en viss yta på skärmen under en tröskel- vilotid, eller genom att förflytta blickpunkten enligt en förutbes- tämd rörelsesekvens, exempelvis en så kallad sackad.

Enligt en annan föredragen utföringsform av den här aspekten av uppfinningen är databearbetningsenheten anpassad att inle- da den efterföljande fasen efter en förutbestämd varaktighet hos den initiala fasen. Den initiala fasen kan normalt sett göras rela- tivt kort, säg 1 till 2 sekunder (eller även väsentligt kortare).

Därefter kan det vara fördelaktigt om den efterföljande fasen startar automatiskt.

Enligt en alternativ utföringsform av den här aspekten av uppfin- ningen är databearbetningsenheten istället anpassad att motta ett användaralstrat utlösningskommando, och inleda den efter- följande fasen som svar på ett mottagande av utlösningskom- mandot. Således kan användaren välja tidpunkten då han/hon anser det vara lämpligt att börja styra returdatat som svar på rö- 10 15 20 25 30 529 599 5 relser hos nämnda kroppsdel. Exempelvis kan systemet med för- del inkludera organ anpassade för att motta det användaralst- rade utlösningskommandot i form av: aktivering av ett mekaniskt inmatningsorgan, ett röstkommando, placering av blickpunkten inom en viss yta på skärmen under en tröskelvilotid, eller genom att förflytta blickpunkten enligt en förutbestämd rörelsesekvens, (exempelvis en sackad). Därmed kan nämligen effektiviteten i användarens interaktion med systemet ytterligare förbättras.

Enligt ytterligare en annan föredragen utföringsform av den här aspekten av uppfinningen representerar returdatat en grafisk pe- kare. Dessutom är databearbetningsenheten anpassad att under den initiala fasen positionera pekaren på skärmen vid en start- placering återspeglad av blickpunkten, exempelvis på ett visst avstånd från en uppskattad position för blickpunkten. Under den efterföljande fasen är databearbetningsenheten anpassad att förflytta pekaren från startpositionen som svar på bildbatat vilket representerar kroppsdelen som rör sig. Företrädesvis är data- bearbetningsenheten anpassad att tolka bilddatat som represen- terande en relativ förflyttning av den grafiska pekaren från start- positionen på ett sådant sätt att en viss rörelse av kroppsdelen förorsakar en förutbestämd förflyttning av den grafiska pekaren.

Alltså kan användaren, genom att röra på kroppsdelen under det att vederbörande betraktar skärmen gradvis styra pekaren att förflyttas från startpositionen enligt vad han/hon önskar.

Enligt ännu en annan föredragen utföringsform av den här as- pekten av uppfinningen är databearbetningsenheten anpassad att förorsaka skärmen att under den efterföljande fasen upprepat uppdatera det presenterade bilddatat. Alltså underlättas exem- pelvis den ovan nämnda gradvisa förflyttningen.

Enligt en ytterligare föredragen utföringsform av den här aspek- ten av uppfinningen är den åtminstone en avbildningsanordnin- gen inkluderad i ögonrörelseföljaren. Därmed kan avbildningsan- ordningen och ögonrörelseföljaren använda sig av en gemensam kameraenhet. Naturligtvis är detta fördelaktigt ur kostnadshän- 10 15 20 25 30 529 599 seende och vad gäller kompaktheten hos konstruktionen.

Enligt en annan föredragen utföringsform av den här aspekten av uppfinningen inkluderar den grafiska informationen en första del representerande icke-returdata och en andra del represente- rande returdatat. Dessutom är databearbetningsenheten anpas- sad att förorsaka presentation av den andra delen vid en bekräf- telseposition på skärmen, där bekräftelsepositionen beror av in- nehållet i den första delen. Detta betyder att returdatabeteendet kan anpassas till det aktuella skärminnehållet, så väl som till det inbördes placeringsmässiga förhållandet mellan detta innehåll och returdatat. Exempelvis kan returdata i form av en grafisk pe- kare ha ett första utseende och/eller uppträdande då den befin- ner sig över, eller nära, ett manipulerbart GUI-objekt, och ett andra utseende och/eller beteende då den befinner sig på en skårmyta som inte innehåller några sådana objekt.

Enligt en annan aspekt av uppfinningen uppnås syftet genom den inledningsvis beskrivna metoden, varvid bilddata registreras, som representerar rörelserna hos kroppsdelen. Returdatat pre- senteras så att returdatat under en initial fas alstras baserat på en absolut position hos blickpunkten. Under en fas efterföljande den initiala fasen alstras istället returdatat baserat på nämnda bilddata.

Fördelarna med denna metod, så väl som med de föredragna utföringsformerna därav, framgår av diskussionen här ovan med hänvisning till det föreslagna datorsystemet.

Enligt ytterligare en aspekt av uppfinningen uppnås syftet ge- nom ett datorprogram, vilket är direkt laddbart till internminnet i en dator, och där programmet inkluderar mjukvara för att styra stegen i den ovan föreslagna metoden då programmet körs på en dator.

Enligt en annan aspekt av uppfinningen uppnås syftet genom ett datorläsbart medium med ett lagrat program, där programmet är ägnat att styra en dator att utföra ovan nämnda metod. 10 15 20 25 30 529 599 Generellt sett är en genom uppfinningen uppnåelig bonuseffekt att det bildbaserade datat som alstras under den efterföljande fasen kan användas för att automatiskt kalibrera ögonrörelseföl- jaren. Genom att studera detta data kan nämligen slutsatser dras beträffande hur ögonrörelseföljaren bör justeras för att mi- nimera eventuella fel mellan den av ögonrörelseföljaren registre- rade blickpunkten och användarens estimerade faktiska blick- punkt Ytterligare fördelar, fördelaktiga särdrag och tillämpningar av uppfinningen kommer att framgå av följande beskrivning och de beroende patentkraven.

KORT BESKRIVNING AV RITNINGARNA Uppfinningen kommer nu att förklaras närmare genom föredrag- na utföringsformer, vilka beskrivs som exempel, och med hän- visning till de bifogade ritningarna.

Figur1 visar en övergripande bild av en användare som interagerar med det föreslagna datorsystemet; Figur2 visar en detaljvy av skärmen i Figur 1, enligt en föredragen utföringsform av uppfinningen; och Figur 3 illustrerar med hjälp av ett flödesschema en allmän metod för att styra ett datorsystem enligt uppfin- ningen.

BESKRIVNING AV FÖREDRAGNA UTFÖRINGSFORMER AV UPPFINNINGEN Figur 1 visar en övergripande bild av ett typiskt användningsfall enligt uppfinningen. Här styr en användare 140 ett datorsystem med hjälp av ögonrörelser och rörelser av en viss kroppsdel.

Systemet inkluderar en databearbetningsenhet 110, en skärm 120 och en ögonrörelseföljare 130, som antingen är integrerad i skärmen 120 (så som visas i figuren), eller är en separat enhet. 10 15 20 25 30 35 529 599 8 Ögonrörelseföljaren 130 är anpassad att registrera användarens 140 blickpunkt PG på skärmen 120. För detta ändamål är ögon- rörelseföljaren 130 med fördel utrustad med en eller flera avbild- ningsanordningar 135a och 135b. Det är i allmänhet fördelaktigt om ögonrörelseföljaren 130 även inkluderar, eller är knuten till en eller flera ljuskällor 1350 och 135d för utsändning av ljus, exempelvis i det infraröda eller nära det infraröda spektrumet, mot användaren 140. Ögonrörelseföljaren 130 är anpassad att alstra ögonföljningsdata DEYE som beskriver blickpunkten PG, samt att vidareförmedla detta data DEYE till databearbetningsen- heten 110.

Databearbetningsenheten 110 är anpassad att vidareförmedla grafisk information GR[S, FB] för presentation på skärmen 120.

Enligt uppfinningen representerar åtminstone en del av denna in- formation GRjS, FB] returdata FB alstrad som svar på användar- kommandon inmatade till bearbetningsenheten 110. Dessa kom- mandon alstras baserat på antingen blickpunkten PG, eller rörel- ser MR av en kroppsdel 145 hos användaren 140. Systemet kan kalibreras att detektera rörelserna MR av väsentligen vilken kroppsdel 145 som helst. Det är emellertid fördelaktigt om kroppsdelen är förhållandevis visuellt distinkt, såsom näsan, munnen, hela huvudet, handen, underarmen etc. Det är fördelak- tigt att välja ögonparet (det vill säga ett bildsegment inkluderan- de användarens 140 bägge ögon) för att representera en kropps- del 145 relativt till vilken ögonen är fixerade (exempelvis huvu- det). l så fall kan nämligen ögonrörelseföljaren 130, som är opti- merad att registrera olika ögonrelaterade karakteristika även an- vändas för att detektera rörelserna av nämnda kroppsdel 145. l alla händelser inkluderar systemet en avbildnlngsanordning som är anpassad att registrera bilddata DRODY representerande rörelserna MR av kroppsdelen 145. Enligt vad som nämnts ovan kan denna avbildnlngsanordning vara identisk med en eller flera av anordningarna 135a och/eller 135b som är inkluderade i ögonrörelseföljaren 130. Avbildningsanordningen är vidare an- passad att vidareförmedla en representation av bilddatat DRODY 10 15 20 25 30 529 599 till databearbetningsenheten 110. Beroende på bearbetningska- paciteten hos avbildningsanordningen betyder detta att enheten 110 mottar antingen rå bilddata (väsentligen så som den regist- rerats av avbildningsanordningen), eller en bearbetad version av bilddatat. I det senare fallet kan avbildningsanordningen förse databearbetningsanordningen 110 med en signal, vilken inne- håller relevant positions-/tidsinformation, rörelsevektorer etc.

Databearbetningsenheten 110 är anpassad att motta både ögon- följningsdatat DEYE och representationen av bilddatat DBODY.

Baserat på dessa data presenterar enheten 110 returdatat FB så att: datat FB under en initial fas alstras baserat på en absolut position hos blickpunkten PG; och under en fas efterföljande den initiala fasen datat FB alstras baserat på bilddatat DBODY. Före- trädesvis inkluderar databearbetningsenheten 110, eller så är denna enhet knuten till, en minnesenhet 115 som är anpassad att lagra mjukvara för att styra enheten 110 att exekvera denna process.

Vi vänder oss nu till Figur 2, där vi ser en mera detaljerad vy av skärmen 120 i Figur 1. Naturligtvis kan returdatat FB represen- tera många olika slags grafisk information, såsom markering av GUl:er, aktivering av så kallade applets osv.

Enligt en utföringsform av uppfinningen representerar returdatat FB en grafisk pekare 210. Vid denna utföringsform är databear- betningsenheten 110 anpassad att, under den initiala fasen, positionera pekaren 210 på skärmen 120 vid en startplacerlng LS, vilken definieras av blickpunkten PG (det vill säga en skärm- yta mot vilken ögonrörelseföljaren 130 estimerar att använda- rens 140 blick är riktad). Därmed kan pekarens 210 startposition LS överlappa blickpunkten PG, eller vara en position som har en viss lokalitet i förhållande till blickpunkten PG.

I det i Figur 2 illustrerade exemplet visar skärmen 120 även grafik i form av ett primärt objekt 220, vilket i sin tur inkluderar en första och en andra skärmtangent 221 respektive 222. Vi an- 10 15 20 25 30 529 599 10 tar här att användaren 140 avser att aktivera den andra skärm- tangenten 222, och därför är intresserad av att förflytta pekaren 210 över detta grafiska objekt. Således kan den faktiska blick- punkten befinna sig i mitten av det primära objektet 220 (det vill säga ungefär vid PG).

I syfte att placera pekaren 210 på den önskade positionen rör MR användaren 140 under den efterföljande fasen den speciella kroppsdelen, såsom sitt huvud 145. Avbildningsanordningen re- gistrerar denna rörelse MR, och alstrar motsvarande bilddata DRODY, av vilket en representation vidareförmedlas till databear- betningsenheten 110. Denna enhet 110 förorsakar i sin tur så- dan returdata FB att presenteras på skärmen 120 att pekaren 210 förflyttar sig från startplaceringen Ls (det vill säga pekaren 210 förflyttar sig som svar på bilddatat DBODY).

Enligt en föredragen utföringsform av uppfinningen är databear- betningsenheten 110 anpassad att tolka representationen av bilddatat DBODY att representera en relativ förflyttning dR av den grafiska pekaren 210 från startplaceringen Ls på ett sådant sätt att en viss rörelse MR av kroppsdelen 145 förorsakar en förut- bestämd förflyttning av den grafiska pekaren 210. Ur ett moto- riskt hänseende är det nämligen en mycket intuitiv rörelsepro- cess för användaren 140. Naturligtvis är här ett godtyckligt för- hållande mellan rörelsen MR och förflyttningen dR tänkbart. Mån- ga gånger är ett rent linjärt förhållande önskvärt. I andra tillämp- ningar kan emellertid ett ickelinjärt förhållande vara mera effektivt. l vilket fall som helst är det fördelaktigt om en allmän rörelse av kroppsdelen 145 åt höger förorsakar att pekaren för- flyttar sig åt höger över skärmen 120, en allmän rörelse av kroppsdelen 145 ät vänster förorsakar att pekaren förflyttar sig åt vänster över skärmen 120, och så vidare. Naturligtvis kan databearbetningsenheten 110 dessutom vara anpassad att ur- skilja mera komplicerade rörelser MR, så att pekaren 210 kan förflyttas i godtycklig riktning över skärmen 120 som svar på kroppsdelsrörelserna. 10 15 20 25 30 529 599 11 Det är vidare fördelaktigt om databearbetningsenheten 110 är anpassad att förorsaka att skärmen 120 under den efterföljande fasen upprepat uppdaterar returdatat FB som svar på bilddatat DBODY. Företrädesvis utförs en sådan uppdatering med en relativt hög frekvens, exempelvis 10-30 gånger per sekund. Därmed kan returdatat FB beskriva en grafisk pekare 210 som förefaller förflyttas sig kontinuerligt som svar på rörelserna MR.

Enligt en föredragen utföringsform av uppfinningen inkluderar den grafiska informationen GR[S, FB] en första del S repre- senterande icke-returdata och en andra del FB representerande returdatat. Med hänvisning till exemplet som visas i Figur 2 kan det primära objektet 220, den första skärmtangenten 221 och den andra skärmtangenten 222 utgöra data inkluderad i den första delen S, medan pekaren 210 inkluderas i den andra delen FB. l den här utföringsformen är databearbetningsenheten 110 anpassad att förorsaka presentation av returdatat FB som är inkluderat i den andra delen vid en bekräftelseposition på skärmen 120, där placeringen av bekräftelsepositionen beror av innehållet i den första delen S.

Exempelvis vid placering över någon av skärmtangenterna 221 eller 222 kan returdatat FB representera pekaren 210, så att dessa knappar kan manipuleras genom alstring av ett bekräftel- sekommando när pekaren 210 befinner sig hår. Närhelst befint- lig över ett textfönster kan emellertid returdatat FB istället repre- sentera en markering av detta fönster. Beroende på tillämpnin- gen är givetvis många alternativa former av visuell guidning möj- lig att presentera. Typen av, eller karaktäristikan hos, returdatat FB kan också bero på innehållet i den första delen S. Vid pla- cering över ett textfönster kan således returdatat FB represen- tera en markörsymbol, medan vid placering över, eller tillräckligt nära, ett manipulerbart GUI-objekt kan returdatat FB represente- ra en pekare, eller liknande grafisk symbol.

Därtill kan förhållandet mellan blickpunkten PG och positionerin- gen av returdatat FB vara icke-linjärt. Exempelvis kan ett eller 10 15 20 25 30 529 599 12 flera GUI-objekt pâ skärmen 120 vara knutna till ett ”gravita- tionsfält”. Detta innebär att, om blickpunkten PG inte befinner sig på något GUI-objekt, men inom ett visst avstånd från ett första GUI-objekt presenteras returdatat FB (exempelvis i form av en grafisk pekare 210) vid det första GUI-objektet.

Enligt en utföringsform av uppfinningen startas den ovan nämn- da inledande fasen manuellt av användaren 140. Därför är data- bearbetningsenheten 110 anpassad att motta ett användarinitie- rat startkommando. Enheten 110 är vidare anpassad att initiera den inledande fasen som svar på ett mottagande av ett sådant startkommando. Det föreslagna systemet innefattar åtminstone ett organ, vilket är anpassat att motta startkommandot. Före- trädesvis alstras startkommandot genom aktivering av ett meka- niskt inmatningsorgan (såsom en tangent, en knapp, en brytare, en pedal etc.), yttrande av ett röstkommando, placering av blick- punkten PG inom en viss yta på skärmen 120 (exempelvis i när- heten av pekarens 210 aktuella position, eller över ett alternativt manipulerbart GUI-objekt) under en tröskelvilotid, och/eller för- flyttning av blickpunkten PG enligt en förutbestämd rörelsesek- vens (exempelvis en sackad från/till ett visst GUI-objekt).

Normalt sett är det föredraget att den initiala fasen är förhål- landevis kort, det vill säga har en varaktighet i storleksordningen 0,1 till 2 sekunder. En mycket kort initial fas kan vara fördelaktig eftersom returdatat FB kommer att uppfattas att uppträda "ome- delbart" som svar på dit användarens 140 blick riktas. l många tillämpningar är det vidare önskvärt om den efterföljande fasen startar automatiskt efter fullbordande av den initiala fasen. l det- ta syfte är enligt en utföringsform av uppfinningen databearbet- ningsenheten 110 anpassad att initiera den efterföljande fasen en förutbestämd tid efter det att den initiala fasen har inletts.

Exempelvis kan användaren 140 inleda den initiala fasen genom att trycka ned en bestämd tangent på ett tangentbord knutet till databearbetningsenheten 110. l samband med att tangenten trycks ned placerar användaren 140 sin blickpunkt PG på en 10 15 20 25 30 35 529 599 13 bestämd plats på skärmen 120. Kort därefter följer den efterföl- jande fasen (automatiskt), och under denna fas styr användaren 140 databearbetningsenheten 110 medelst sina kroppsdelsrörel- ser MR. Sedan, när returdatat FB indikerar att en önskad inmat- ningsstatus har uppnåtts, frigör användaren 140 den bestämda tangenten för att avsluta den efterföljande fasen.

Enligt en annan utföringsform av uppfinningen startas den efter- följande fasen manuellt. Således är databearbetningsenheten 110 anpassad att motta ett användaralstrat utlösningskomman- do, och inleda den efterföljande fasen som svar på mottagande av ett sådant utlösningskommando. Företrädesvis alstras utlös- ningskommandot genom aktivering av ett mekaniskt inmatnings- organ (såsom en tangent, en knapp, en brytare, en pedal etc.), yttrande av ett röstkommando, placering av bllckpunkten PG inom en viss yta på skärmen 120 (exempelvis i närheten av pe- karens 210 aktuella position, eller över et alternativt manipuler- bart GUI-objekt) under en tröskelvilotid, och/eller förflyttning av bllckpunkten PG enligt en förutbestämd rörelsesekvens (exem- pelvis en sackad från/till ett visst GUI-objekt). Därför inkluderar systemet åtminstone ett organ, vilket är anpassat att motta ut- lösningskommandot i åtminstone en av dessa former.

Det är värt att notera att, enligt en utföringsform av uppfinnin- gen, behöver inte användarens 140 blickpunkt PG faktiskt befin- na sig på skärmen 120 under den initiala fasen. istället kan bllckpunkten PG under denna fas vara riktad mot en så kallad off-screen-tangent, det vill säga ett mjukvarurelaterat styrorgan som representeras av en yta utanför skärmen 120 (exempelvis på skärmens ram). Aktivering av en sådan off-screen-tangent kan förorsaka returdata FB (säg i form av en rullgardinsmeny) att presenteras på skärmen 120 (företrädesvis i närheten av off- screen-tangenten som identifierats av bllckpunkten PG). Således kan användaren 140 under den efterföljande fasen navigera ge- nom rullgardinsmenyn genom att utföra adekvata kroppsdels- rörelser MR. Off-screen-tangenter är önskvärda eftersom de hus- håller med skärmytan. 10 15 20 25 30 529 599 14 I syfte att summera kommer nu den allmänna metoden att styra en dator enligt uppfinningen att beskrivas med hänvisning till flödesschemat i Figur 3.

Ett inledande steg 310 undersöker huruvida något startkomman- do har mottagits. Företrädesvis är detta kommando användarini- tierat enligt vad som har diskuterats ovan. Om inget sådant kom- mando har mottagits loopar proceduren tillbaka och stannar i steget 310, och annars följer ett steg 320. Steget 320 presen- terar returdata på skärmen, så att returdatat alstras baserat på en absolut position för användarens blickpunkt i förhållande till skärmen.

Ett därpå följande steg 330 undersöker huruvida ett villkor för att initiera en efterföljande fas är uppfyllt. Enligt vad som nämnts ovan kan detta villkor antingen representeras av ett förutbestämt tidsintervall efter det att den initiala fasen inletts i steget 320, eller vid mottagande av ett utlösningskommando. l vilket fall som helst, om villkoret inte är uppfyllt loopar proceduren tillbaka till steget 320. l annat fall följer ett steg 340, vilket presenterar returdata alstrad baserat på bilddata representerande rörelser hos en viss kroppsdel hos användaren.

Därefter undersöker ett steg 350 huruvida ett stoppkriterium är uppfyllt. Det är mycket fördelaktigt om en stoppsignal indikeran- de uppfyllande av stoppkriteriet alstras manuellt av användaren.

Endast användaren vet nämligen när en viss operation som styrs som svar på rörelserna av hans/hennes kroppsdel har fullbordats. Således kan stoppsignalen alstras genom aktivering av ett mekaniskt inmatningsorgan (såsom en tangent, en knapp, en brytare, en pedal etc.), yttrande av ett röstkommando, pla- cering av blickpunkten PG inom en viss yta pà skärmen 120 (exempelvis i närheten av pekarens 210 aktuella position, eller över ett alternativt manipulerbart GUI-objekt) under en tröskel- vilotid, och/eller förflyttning av blickpunkten PG enligt en förut- bestämd rörelsesekvens (exempelvis en sackad från/till ett visst GUI-objekt) och/eller frigöring av en bestämd tangent. 10 15 20 25 30 35 529 599 15 Om det i steget 350 konstateras att stoppkriteriet är uppfyllt Ioopar proceduren tillbaka till steget 310. Annars loopar proce- duren tillbaka till steget 340. Naturligtvis kan databearbetnings- enheten vara anpassad att, i samband med uppfyllande av stoppkriteriet, utföra en eller flera operationer, exempelvis rela- terade till ett valt manipulerbart GUI-objekt, möjligen aktiverat via den ovan nämnda proceduren.

Samtliga de procedursteg, sàväl som godtycklig delsekvens av steg, beskrivna med hänvisning till figur 3 ovan kan styras med hjälp av en programmerad datorapparat. Dessutom, även om de ovan med hänvisning till figurerna beskrivna utföringsformerna av uppfinningen innefattar en dator och processer utförda i en dator, utsträcker sig uppfinningen till datorprogram, speciellt datorpro- gram på eller i en bärare anpassad att praktiskt implementera uppfinningen. Programmet kan vara i form av källkod, objektkod, en kod som utgör ett mellanting mellan käll- och objektkod, såsom i delvis kompilerad form, eller i vilken annan form som helst läm- plig att använda vid implementering av processen enligt uppfin- ningen. Bäraren kan vara godtycklig entitet eller anordning vilken är kapabel att bära programmet. Exempelvis kan bäraren inne- fatta ett lagringsmedium såsom ett flashminne, ett ROM (Read Only Memory), exempelvis en CD (Compact Disc) eller ett halv- ledar-ROM, EPROM (Electrically Programmable ROM), EEPROM (Erasable EPROM), eller ett magnetiskt inspelningsmedium, exempelvis en floppydisk eller hårddisk. Dessutom kan bäraren vara en överförande bärare såsom en elektrisk eller optisk signal, vilken kan ledas genom en elektrisk eller optisk kabel eller via ra- dio eller på annat sätt. Då programmet gestaltas av en signal som kan ledas direkt av en kabel eller annan anordning eller organ kan bäraren utgöras av en sådan kabel, anordning eller organ. Al- ternativt kan bäraren vara en integrerad krets i vilken programmet är inbäddat, där den integrerade kretsen är anpassad att utföra, eller för att användas vid utförande av, de aktuella processerna.

Termen ”innefattar/innefattande” skall då den används i den här framställningen ange närvaron av de nämnda särdragen, helta- 10 529 599 16 len, stegen eller komponenterna. Termen utesluter emellertid inte närvaron eller tillägg av ett eller flera ytterligare särdrag, heltal, steg eller komponenter eller grupper därav.

Hänvisningar till eventuell tidigare känd teknik i den här fram- ställningen är inte, och skall inte förstås som, ett erkännande eller någon antydan om att denna teknik utgör del av vad som är allmänt känd kunskap i Australien.

Uppfinningen är inte begränsad till de i figurerna beskrivna utfö- ringsformerna, utan kan varieras fritt inom patentkravens skyddsomfång.

Claims (23)

10 15 20 25 30 529 599 17 Patentkrav

1. Ett datorsystem innefattande en databearbetningsenhet (110), en skärm (120) och en ögonrörelseföljare (130) anpassad att registrera en användares (140) blickpunkt (PG) i förhållande till skärmen (120), där databearbetningsenheten (110) är anpas- sad att presentera grafisk information (GR[S, FB]) på skärmen (120), där informationen (GR[S, FB]) inkluderar returdata (FB) alstrad baserat på blickpunkten (PG) och rörelser (MR) hos en kroppsdel hos användaren (140), kännetecknat av att systemet innefattar åtminstone en avbildningsanordning (135a, 135b) an- passad att registrera bilddata (DBODY) representerande rörelser- na (MR) och vidarebefordra en representation av bilddatat (DBODY) till databearbetningsenheten (110), och databearbet- ningsenheten (110) är anpassad att presentera returdatat (FB) så att: under en initial fas datat (FB) alstras baserat på en absolut position hos blickpunkten (PG), och under en fas efterföljande den initiala fasen datat (FB) alstras baserat på bilddatat (DBODY).

2. Datorsystemet enligt krav 1, kännetecknat av att data- bearbetningsenheten (110) är anpassad att: motta ett användaralstrat startkommando, och inleda den initiala fasen som svar på ett mottagande av startkommandot.

3. Datorsystemet enligt krav 2, kännetecknat av att systemet innefattar åtminstone ett organ anpassat att motta startkomman- dot i form av åtminstone endera av: aktivering av ett mekaniskt inmatningsorgan, ett röstkommando, placering av blickpunkten (PG) inom en viss yta på skär- men (120) under en tröskelvilotid, och en förutbestämd rörelsesekvens hos blickpunkten (PG). 10 15 20 25 30 529 599 18

4. Datorsystemet enligt något av föregående krav, känne- tecknat av att databearbetningsenheten (110) är anpassad att inleda den efterföljande fasen efter en förutbestämt varaktighet hos den initiala fasen.

5. Datorsystemet enligt något av kraven 1 till 3, känneteck- nat av att databearbetningsenheten (110) är anpassad att: motta ett användaralstrat utlösningskommando, och inleda den efterföljande fasen som svar på ett mottagande av utlösningskommandot.

6. Datorsystemet enligt krav 5, kännetecknat av att systemet innefattar åtminstone ett organ vilket är anpassat att motta ut- lösningskommandot i form av åtminstone endera av: aktivering av ett mekaniskt inmatningsorgan, ett röstkommando, placering av blickpunkten (PG) inom en viss yta på skär- men (120) under en tröskelvilotid, och en förutbestämd rörelsesekvens hos blickpunkten (PG).

7. Datorsystemet enligt något av föregående krav, känne- tecknat av att returdatat (FB) representerar en grafisk pekare (210), och databearbetningsenheten (110) är anpassad att: under den initiala fasen positionera den grafiska pekaren (210) på skärmen vid en startplacering (Ls) återspeglad av blick- punkten (PG), och under den efterföljande fasen förflytta den grafiska pekaren (210) från startplaceringen (Ls) som svar på bilddatat (DBODY).

8. Datorsystemet enligt krav 7, kännetecknat av att data- bearbetningsenheten (110) är anpassad att tolka bilddatat (DBODY) att representera en relativ förflyttning (dR) av de grafiska pekaren (210) från startplaceringen (LS) på ett sådant sätt att en viss rörelse (MR) av kroppsdelen (145) förorsakar en förutbes- tämd förflyttning av den grafiska pekaren (210). 10 15 20 25 30 529 599 19

9. Datorsystemet enligt något av kraven 7 eller 8, känneteck- nat av att databearbetningsenheten (110) är anpassad att föror- saka att skärmen (120) under den efterföljande fasen upprepat uppdaterar det presenterade returdatat (FB) som svar på bild- datat (DBQQY).

10. Datorsystemet enligt något av föregående krav, känne- tecknat av att den åtminstone en avbildningsanordningen (135a, 135b) är inkluderad i ögonrörelseföljaren (130).

11. Datorsystemet enligt något av föregående krav, känne- tecknat av den grafiska informationen (GR[S, FB]) innefattar en första del (S) representerande icke-returdata och en andra del (FB) representerande returdatat, och databearbetningsenheten (110) är anpassad att förorsaka presentering av den andra delen (FB) vid en bekräftelseposition på skärmen (120), där bekräftel- sepositionen beror av innehållet i den första delen (S).

12. En metod för att styra ett datorsystem innefattande en databearbetningsenhet (110), en skärm (120) och en ögonrörel- seföljare (130) anpassad att registrera en användares (140) blickpunkt (PG) i förhållande till skärmen (120), där metoden in- nefattar presentation av grafisk information (GR[S, FB]) på skärmen (120), där informationen (GR[S, FB]) inkluderar retur- data (FB) alstrad baserat på blickpunkten (PG) och rörelser (MR) hos en kroppsdel hos användaren (140), kännetecknad av registrering av bilddata (DBGGY) representerande rörelserna (MR), och presentering av returdatat (FB) så att datat (FB) under en initial fas alstras baserat på en absolut position hos blickpunk- ten (PG), och under en fas efterföljande den initiala fasen datat (FB) alstras baserat på bilddatat (DGGGY).

13. Metoden enligt krav 12, kännetecknad av: mottagning av ett användaralstrat startkommando, och 10 15 20 25 529 599 20 inledning av den initiala fasen som svar på ett mottagande av startkommandot.

14. Metoden enligt krav 13, kännetecknad av mottagning av startkommandot i form av åtminstone endera av: aktivering av ett mekaniskt inmatningsorgan, ett röstkommando, placering av blickpunkten (PG) inom en viss yta på skär- men (120) under en tröskelvilotid, och en förutbestämd rörelsesekvens hos blickpunkten (PG).

15. Metoden enligt något av kraven 12 till 14, kännetecknad av inledning av den efterföljande fasen efter en förutbestämt varaktighet hos den initiala fasen.

16. Metoden enligt något av kraven 12 till 15, kännetecknad av: mottagning av ett användaralstrat utlösningskommando, och inledning av den efterföljande fasen som svar på ett motta- gande av utlösningskommandot.

17. Metoden enligt krav 16, kännetecknad av mottagning av utlösningskommandot i form av åtminstone endera av: aktivering av ett mekaniskt inmatningsorgan, ett röstkommando, placering av blickpunkten (PG) inom en viss yta på skär- men (120) under en tröskelvilotid, och en förutbestämd rörelsesekvens hos blickpunkten (PG).

18. Metoden enligt något av kraven 12 till 17, kännetecknad av att returdatat (FB) representerar en grafisk pekare (210), och att metoden innefattar: positionering av den grafiska pekaren (210) på skärmen vid en startplacering (LS), där startplaceringen (Ls) återspeglas av 10 15 20 25 529 599 21 blickpunkten (PG) under den initiala fasen, och förflyttning av den grafiska pekaren (210) från startplace- ringen (Ls) som svar på bilddatat (DBODY) under den efterföljande fasen.

19. Metoden enligt krav 18, kännetecknad av tolkning av bild- datat (DBODY) som en representation av en relativ förflyttning (dR) av de grafiska pekaren (210) från startplaceringen (LS) på ett sådant sätt att en viss rörelse (MR) av kroppsdelen (145) förorsakar en förutbestämd förflyttning av den grafiska pekaren (210).

20. Metoden enligt något av kraven 18 eller 19, kännetecknad av presentering av upprepade uppdateringar av det presentera- de returdatat (FB) på skärmen (120) om svar på bilddatat (DBODY) under den efterföljande fasen.

21. Metoden enligt något av kraven 12 till 20, kännetecknad av att den grafiska informationen (GRjS, FB]) innefattar en förs- ta del (S) representerande icke-returdata och en andra del (FB) representerande returdatat, och metoden innefattar presentering av den andra delen (FB) vid en bekräftelseposition på skärmen (120), där bekräftelsepositionen beror av innehållet i den första delen (S).

22. Ett datorprogram direkt laddbart till internminnet (115) i en dator, där programmet innefattar mjukvara för att styra stegen enligt något av kraven 12 till 20 då nämnda program körs på datorn.

23. Ett datorläsbart medium (115), med ett därpå lagrat prog- ram, där programmet är ägnat att förmå en dator att styra ste- gen enligt något av kraven 12 till 20.