SE525826C2 - Interaktivt förfarande för att presentera information i en bild - Google Patents
Interaktivt förfarande för att presentera information i en bild Download PDFInfo
- Publication number
- SE525826C2 SE525826C2 SE0401582A SE0401582A SE525826C2 SE 525826 C2 SE525826 C2 SE 525826C2 SE 0401582 A SE0401582 A SE 0401582A SE 0401582 A SE0401582 A SE 0401582A SE 525826 C2 SE525826 C2 SE 525826C2
- Authority
- SE
- Sweden
- Prior art keywords
- image
- user
- information
- field
- virtual
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 14
- 230000002452 interceptive effect Effects 0.000 title claims 2
- 230000000007 visual effect Effects 0.000 title description 37
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 claims description 2
- 210000003128 head Anatomy 0.000 description 14
- 230000005855 radiation Effects 0.000 description 13
- 239000003550 marker Substances 0.000 description 12
- 238000005259 measurement Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 206010073261 Ovarian theca cell tumour Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 208000001644 thecoma Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
25 30 35 l,._. (e: .. f, f* .
MR kan användas i en mängd olika tillämpningar, t.ex. för utbildning, reparation, underhåll och tillverkning, inom en mängd olika områden, t.ex. inom medicin, tillverkningsindustri, upplevelseindustri och i militära sammanhang.
Föreliggande uppfinning ger en lösning på problemet med att presentera i varje ögonblick relevant infomlation för en användare, även beaktande användarens utbildningsnivå och tidigare erfarenhet, genom att den utformas pà det sätt som framgår av det efterföljande självständiga patentkravet. Övriga patentkrav avser fördelaktiga utföringsformer av uppfinningen.
I det följande kommer uppfinningen att beskrivas närmare med hänvisning till de bifogade ritningarna, där fig. 1 fig. 2 fig. 3 fig. 4 fig. 5 fig. 6 fig. 7 fig. 8 fig. 9 visar direkt seende och mixning av verkligheten och virtuell informa tion genom s.k. “optic-see-through", visar indirekt seende via en kamera och en bildskärmsanordning och mixning av verkligheten och virtuell information genom s.k. "video- see-through”, visar sex frihetsgrader för en användares huvud, visar ett exempel på en markör med ett unikt mönster, visar en mixad bild med markör, virtuellt skapat objekt och verkligt objektet samt fält/objekt inlagda i bilden, i vilka blickens fixationspunkt kan placeras för att indikera någon funktion och vidare inlagt ett kors som anger blickens fixationspunkt i bilden, visar ett exempel pà ett huvudburet system för MR med inbyggd blickriktningssensor, visar på ett övergripande plan en konkret implementering av uppfin- ningen, visar de olika delar som ingàri den huvudburna utrustningen i figur 7 och visar ett flödesschema över hur dator och programvara kan arbeta i ett system enligt uppfinningen. l syfte att underlätta förståelsen av uppfinningens innebörd utgår den fortsatta beskrivningen från ett konkret exempel som kallas för "levande instruktionsbok" och som beskriver en användare som bår på en teknisk anordning i vilken den visuella 0000 10 15 20 25 30 35 virtuella och verkliga världen kan blandas och presenteras för honom. Hans uppgift antages vara att utifrån visuella instruktioner demontera ett motorblock. Nedan beskrivs de tekniska stegen i en sådan process.
Direkt och indirekt seende Verklig visuell information är den information som har sitt ursprung i den verkliga världen. Registreringen kan göras direkt, det vill säga den visuella strålningen fràn omgivningen 3 når ögat 1 direkt eller via någon form av transmissiv eller delvis transmissiv optisk anordning 2, Lex. via ett par glasögon, se figur 1. Registreringen kan också ske indirekt tex. via en kamera 4 och en bildskärmsanordning 5, se figur 2. Kameran registrerar här den visuella strålningen från omgivningen, omvandlar denna strålning till en elektrisk signal som överförs till bildskärmsanordningen där signalen omvandlas till en bild som beskriver omgivningen. Kameran 4 och bild- skärmsanordningen 5 kan vara utformade så att de kan placeras i nära anslutning till huvudet och ögonen. l detta fall följer kameran huvudets rörelser och man erhåller ett huvudstyrt indirekt seende.
En kamera som används i ett sådant här sammanhang behöver inte bara vara käns- lig för visuell strålning, den kan var känslig i andra intervall t.ex. i när-IR-området, de termiska IR-omràderna eller UV-området. Kameran kan också detektera omgiv- ningen genom multispektrala band. Genom att låta kameran vara känslig för strål- ning som ligger både innanför och utanför det mänskliga ögats upptagningsområde kan det indirekta seendet hjälpa en användare att uppfatta omgivningen på ett mer omfattande sätt jämfört med direkt seende.
Eftersom kameran registrerar omgivningen och omvandlar registreringen till en elektrisk signal, kan man låta denna signal passera en dator som förbättrar, förändrar eller omvandlar den bild den elektriska signalen representerar, t.ex. genom brusreducering, kontrastförstärkning eller förstärkning av smà lokala signal- variationer i skuggiga eller ljusa områden.
Skapande av virtuell visuell information Virtuell visuell information är här information som skapas med hjälp av en dator eller annan bildskapande anordning. Den virtuella visuella informationen presenteras för användaren via en bildskärmsanordning 5. Den virtuella visuella informationen kan t.ex. härröra fràn en databas eller beräknas fram av datom. Exempel på virtuell 10 15 20 25 30 35 visuell information i detta sammanhang är tvàdimensionella bilder (med bild ochleller textinformation), tvádimensionella objekt (t.ex. en pil), tredimensionell text, tredimen- sionella modeller (objekt), videosekvenser, partikelsystem (t.ex. fladdrande rök/eld) samt rörliga simulerade animerade sekvenser.
Blandning av virtuell och verklig visuell bildinformation Den virtuella visuella informationen, beskriven ovan, kan blandas samman, mixas, med den verkliga visuella informationen pà i huvudsak två olika sätt, "optic-see- through" och 'Video-see-through".
Vid det första sättet, "optic-see-through", se figur 1, ser användaren den verkliga visuella världen via en tranmissiv eller delvis transmissiv optisk anordning 2 i vilken den virtuella visuella informationen speglas in. Den visuella strålningen som beskriver virtuell bildinformation genereras av en dator 7 utifrån inmätningsdata fràn en inmätningsanordning 8. Den virtuella informationen presenteras via en bild- skärmsanordning 5 och speglas in i ögat via en stràldelare 6.
Vid det andra sättet, "video-see-through", se figur 2, ser användaren den verkliga visuella världen via en kamera 4 och en bildskärmsanordning 5. Bilden från kameran passerar en dator 7 eller annan bildberäkningsenhet innan den presenteras via bild- skärmsanordningen för användaren. Datom kan då elektroniskt eller datormässigt mixa in virtuell visuell information genererad pà samma sätt som i förgàende exempel utgående från inmätningsdata fràn en inmätningsanordning 8. Denna mixning kan göras i olika grad, alltifrån att den virtuella visuella informationen svagt överlagras över den verkliga till att den virtuella visuella informationen ersätter relevant verklig visuell information. lnmätningsförfarande För att en mixning av den virtuella och verkliga visuella informationen skall kunna ske pà ett korrekt sätt måste någon form av inmätningsförfarande användas. Den virtuella visuella informationen ärju i de flesta fall relaterad till en position i en scen i den verkliga världen, exempelvis ärju en virtuell visuell information som beskriver hur elektriska ledningar är placerade i en vägg relaterad till den verkliga väggens position, annars kan inte ledningarna - virtuellt beskrivna - rätt överlagras på väggen, sett med användarens ögon. 10 15 20 25 30 35 gb o oc. n 0 oo inmätning vid "optic-see-through" Om man utgår från att användaren bär på en huvudburen utrustning för "optic-see- through" måste datom i någon form veta varat användaren har vänt sitt huvud för att kunna beräkna fram vilken virtuell visuell information som skall presenteras samt hur och vari bilden på bildskärmsanordningen detta skall ske. l en avancerad form används även ögats position i förhållande till utrustningens position, eftersom ögat ju är den mänskliga bilddetektor som registrerar den mixade visuella informationen. En liten förskjutning av utrustningen på huvudet kan medföra att den verkliga och virtuella visuella informationen förskjuts på ett oönskat sätt.
Det finns många sätt att mäta in användarens position och riktning i förhållande till en scen i den verkliga värtden. En mängd olika tekniker finns utvecklade och inmätningsutrustningar, "trackers", kan delas in efter vilken fysikalisk princip som används: akustisk, magnetisk, baserad på tröghetslagen, optisk och mekanisk. Man kan också kombinera två "trackers" som är baserade på olika principer och på så sätt få en "hybridtracker".
En användares förhållande till sin omgivning kan mätas in genom att både position, x, y och z och riktning, dvs. rotationsvinklar head, pitch och roll, detekteras, se figur 3. Head anges i figuren med h, pitch med p och roll med r. Om position och riktning i alla led inmåtes har man gjort en inmätning i sex frihetsgrader. l vissa fall, t.ex. då användaren sitter mer eller mindre fastspänd i en stol kan det räcka att endast mäta head, pitch och roll, dvs. endast 3 frihetsgrader.
Om en kamera integreras med den huvudburna utrustningen och kamerans inrikt- ning ensas med utrustningens optiska inriktning kan kamerabilden avläsas av en dator som med hjälp av programvara kan detektera mönster eller loka egenskaper i bilden och på så sätt orientera sig i omvärlden. inmätning vid "video-see-through" Om man utgår från att användaren bär på en huvudburen utrustning för "video-see- through" så kan kamerabildens information användas av datorn på samma sätt som beskrivits ovan beträffande "optic-see-through". Datom kan alltså detektera lokala egenskaper eller mönster i bilden från kameran och utifrån denna information orientera sig. En lokal egenskap kan t.ex. vara ett bordshörn eller en mutter. Det kan emellertid vara svårt för datorn att hitta sådana lokala egenskaper i bilden från r^ ri " n ^. ' 6 kameran, eftersom de b|.a. kan betraktas fràn olika bildvinklar och i olika belysningssituationer.
Det är därför lämpligt att hjälpa datom att hitta i bilden genom att placera in mönster 5 som specialdesignats, för att datom skall hitta dem i bilden från kameran. Ett sådant specialdesignat mönster, hädanefter kallat en markör, bör vara utformat så att markörens mönster är unikt och att markörens position och riktning, dvs. dess sex frihetsgrader, kan utläsas från markören. En markör, 9 i figur 4 och 5, kan i all enkelhet vara ett svartvitt unikt mönster 10, omgivet av en svart ram 11 mot en vit 10 omgivning 12. En markör kan också bestå av ett antal ljusreflekterade punkter, ett antal ljusalstrande punkter, t.ex. lysdioder, eller bara vara en vanlig bild föreställande något.
En markör kan, förutom att hjälpa datorn att orientera sig, kopplas till någon form av 15 virtuell visuell information, eller i en mer allmän tillämpning till någon annan virtuell information, exempelvis akustisk. Till varje markör kan även kopplas infonnation om hur och var den virtuella visuella informationen skall presenteras för användaren.
Om, såsom visas i figur 5, en markör 9 placeras på ett motorblock 13 och i närheten av en bult 14, så kan datorn exempelvis rått placera in en virtuellt skapad skiftnyckel 20 15, för att markera att bulten skall skruvas loss och med hjälp av en skiftnyckel.
Datorn kan orientera sig i omvärlden tack vare att den detekterar någon markör i den kamerabild som också användaren ser. Som alternativ kan kamerans synfält vara större än det synfält som användaren får sig presenteras via bildskärmsanord- 25 ningen. I ett sådant fall kan datom finna markörer som är placerade helt eller delvis utanför den bild som presenteras för användaren. l en vidare utveckling kan en eller flera kameror som sitteri ett fast och känt förhållande till den kameran som ger z. användaren hans bild användas för att detektera markörer i en helt annan riktning än vad som användaren riktar sitt huvud. Tack vare det kända förhållandet mellan z 30 kameroma kan ändå relevant virtuell visuell bildinforrnation förläggas på ett korrekt sätt i bilden som användaren ser.
'P3 Markörer och utförandeordning Genom att använda ett antal olika markörer som är placerade pà olika ställen, 35 exempelvis på ett motorblock, kan en användare som bär ett huvudburet "video-see- through" system som är kopplat till en dator, få för sig beskrivet visuellt hur denne 10 15 20 25 30 35 skall exempelvis gà tillväga då motorn skall demonteras. Användaren får en "levande instruktionsbok".
Varje markör är kopplad till någon form av virtuell visuell information och dà använ- daren närmar sig det aktuella objektet, motorblocket, kan naturligtvis inte varje markör ge ifràn sig virtuell visuell information samtidigt, utan det måste finnas en speciell fastställd ordning om hur den virtuella visuella informationen skall visas, dvs. hur de olika momenten skall utföras för att t.ex. demontera motorn.
Informationen är uppbyggd i olika informationskedjor och de olika handgrepp användaren skall göra finns ordnade i utförandekedjor. Det är ett strukturerat system, där information på en viss nivà i ett hierarkiskt system normalt leder till ny information. Användaren skall dessutom genom meddelanden till beräkningsanord- ningen kunna hoppa framåt eller bakàt i det hierarkiska systemet för att nà information användaren anser sig behöva.
Vidare kan systemet i ett mer avancerat utförande anpassa informationen till använ- darens kunskapsnivå och erfarenhet. Man kan tänka sig att systemet presenterar "all" information vid ett första tillfälle för en viss användare. Om användaren sedan repetitivt skall utföra samma handgrepp på en följd av föremål, t.ex. motorer, kan systemet begränsa informationen efterhand i enlighet med en förutbestämd plan över hur användarens erfarenhet ökar. Användaren har dock som sagt i varje ögonblick möjlighet att begära mer infonnation.
Om man dessutom använder sig av ett system som kräver att användaren identi- fierar sig kan systemet också ta hänsyn till vad användaren "borde kunna" med anledning av vad användaren utfört vid tidigare tillfällen. Eftersom det i ett system enligt uppfinningen måste finnas en blickriktningssensor, se vidare nedan, för att bestämma ett ögas fixationspunkt i bilden, kan man tänka sig att kombinera denna med en möjlighet att identifiera användaren med hjälp av ögonigenkänning.
I normalfallet beaktas en markör vid bestämmandet av vilken information som skall presenteras först när hela markören är synlig i bilden. l ett mer avancerat system finns dock flera varianter. En markör kan vara aktiv/passiv, utförbar/ej utförbar, kvitterad/okvitterad, osv. 10 15 20 25 30 35 Grundprincipen är att en markör är aktiv då den befinner sig i kamerabilden, som också vanligtvis är den bild som presenteras via en huvudburen bildskärmsanord- ning, och passiv då den befinner sig utanför bilden. Vanligtvis, då en markör är aktiv så visas den virtuella information som är kopplad till markören medan då en markör är passiv så visas inte någon information alls. l ett mer utvecklat system kan ett antal villkor införas för att en markör skall bli aktiv, t.ex. att den måste vara inom ett visst avstånd från användaren, att den måste ha rätt prioritet, att vissa moment måste ha utförts innan, osv. l ett sådant system kan beroende pà situationen även en passiv markör visa virtuell information t.ex. "Detta moment får ej utföras nu".
För att systemet skall kunna leda en användare rätt t.ex. i en monteringssekvens är det nödvändigt att vissa moment sker i rätt ordning. Därför har det visat sig relevant att införa begreppet kvittering av markör, eller rättare sagt kvittering av den inforrna- tion som är kopplad till markören, så att systemet t.ex. kan få information om att en användare utfört ett visst moment/handgrepp. När en användare utfört ett visst moment kvitterar användaren därför att han/hon har tagit del av eller utfört ett moment knutet till informationen som är kopplad till markören. Denna kvittering kan ske med hjälp av ett kommando utfört t.ex. av handen, rösten eller blicken. För att användaren skall veta kvittensstatus kan någon symbol vara kopplad till markören som visar dennas status. Det kan t.ex. vara en symbol i form av en hand där färgen på denna markerar aktuell kvitteringsstatus. interaktion i moment av utförande Användaren som bär på den huvudburna utrustningen och fâr instruktioner om hur han/hon skall utföra de olika momenten, t.ex. demontera motom, har oftast båda händerna upptagna med själva demonteringen och dessutom kan händerna vara smutsiga. I detta läge måste användaren enligt ovan resonemang kunna kvittera de olika momenten på något sätt. Hår kan man använda det förhållandet att använda- ren redan bär på en huvudburen utrustning och komplettera denna med en blickrikt- ningssensor (för ett eller båda ögonen), exempelvis så som visas i figur 6. I figuren anger 1 ögat, 3 en del av omgivningen, 4 en kamera, 5 en bildskärmsanordning, 7 en dator, 16 en kamera känslig för när-IR-strålning, 17 ett filter som endast släpper igenom när-IR-strålning, 18 när-IR-belysningskällor, 19 är en sfärisk spegel, 20 är en hot-mirror, dvs. en optisk anordning med funktionen att när-IR-strålning reflekte- 10 15 20 25 30 35 f' f' r- fä =' '_ *I 9 ras som i en spegel medan visuell strålning transmitteras och 21 en stråldelare. Om man känner av båda ögonens inriktning, kan detta utnyttjas för att skapa korrekt stereografisk virtuell presentation, under förutsättning att man använder en kamera för vartdera ögat så att även kamerabilden blir stereografisk.
Blickriktningssensorn, eller blickriktningssensorerna, känner av var i bilden använda- ren har sin fixeringspunkt. I bilden från kameran - dvs. i omvärldsbilden - markeras ett antal fält/objekt, se figur 5. Beteckningen 22 anger ett fält i bilden, 23 ett tredimensionellt objekt i bilden och 24 ett kors som beskriver var i bilden blickens fixationspunkt befinner sig.
Fälten/objekten, som lämpligtvis kan placeras nära hörnen på bilden och kan vara utformade på olika sätt, t.ex. som pilen 22 l figur 5, för att fältets/objektets funktion skall omedelbart förstås. Fältet/objektet kan utformas som en i bilden helt transpa- rent yta omgiven av en färgad ram där färgen på ramen betecknar aktuell funktion.
Funktion kan också anges som textmassa i fältet/objektet. Fältet/objektet kan också vara mer eller mindre transparent eller vara helt fyllt med en färg, ett mönster eller en bild. Fältet/objektet kan vidare vara tredimensionellt, stilla eller rörligt. När använ- daren tittar i något av fälten/objekten kan detta indikeras genom att fältets/objektens form, färg, rörelse eller innehåll förändras pá något sätt så att användaren förstår att systemet vet att användaren tittar i fältet/pà objektet.
Genom att interagera med ett fält/objekt kan användaren kvittera att han/hon tagit emot information, utfört någon åtgärd eller önskar en stegvis förflyttning i ett hierarkiskt schema över en utförandesekvens som systemet omfattar. Själva kommandot, kvittensen, kan ges till systemet på olika sätt. Ett enkelt sätt är genom att kvarhålla blicken på ett bestämt fält eller objekt en tillräckligt lång tid. Man kan också låta blickens passerande av ett antal fält/objekt i en bestämd sekvens ge det aktuella kommandot. Ett sätt kan vara att låta blicken hastigt röra sig till bildens periferi och därpå hastigt till det fält man är intresserad av. En annan möjlighet är att låta blickens position i ett fält eller ett objekt kombineras med en helt annan åtgärd t.ex. ett röstkommando eller ett kommando utfört med någon annan kroppsdel än ögat, t.ex. med foten.
Ett fält/objekt kan också placeras på olika virtuella fokalplan om en kamera och bild- skärmsanordning används till vartdera ögat. Ett fält/objekt kan upplevas ligga nära 10 15 20 25 30 35 10 användaren eller upplevas ligga làngt borta tack vare stereoeffekten. Här finns möj- lighet att låta de olika fälten/objekten inta olika, av användaren upplevda, avstånd till användaren i syfte att ge användaren någon form av feedback.
När man ser sig runt i en omgivning använder man sig av huvudet vid större vrid- ningar och ögat för mindre sådana. Dä en användare använder en blickstyrd MR utrustning och ser sig runt i omgivningen rör sig normalt ögats fixationspunkt inom ett begränsat område runt mitten av bilden (huvudet gör de stora rörelserna). Detta kan man använda för att slippa visa fält/objekt förrän de behövs. Det kan vara störande om det finns fält/objekt i bilden när man inte är intresserad av att kunna kvittera eller ge ett kommando, även om de är placerade i bildens kant. Man definierari detta fallet en central del av bilden och först när blickens fixationspunkt lämnar denna centrala bild visas fälten/objekten. Än mer störande är det om fixationspunkten ständigt visas i bilden. Uppfinningen visar därför inte fixationspunkten i bilden när den ligger i den centrala delen av bilden eller visar den på ett icke störande sätt, exempelvis som en prick. Utanför den centrala delen är det normalt inget problem att visa fixationspunkten och det är viktigt att veta var man tittar när man vill interagera med fälten/objekten. Med hänvisning till figur 5 och beteckningar i denna kan ett sätt vara att man markerar när fixationspunkten 24 i bilden ligger i ett fält 22 eller ett objekt 23 genom att fältet/objektet ändrar utseende, exempelvis färg eller form. Ett annat sätt är att man ständigt presenterar fixationspunkten i bilden pà ett tydligt sätt, exempelvis som ett kors 24, när den ligger utanför den centrala delen av bilden.
Det kan vidare vara värdefullt att veta när beräkningsanordningen 7 uppfattat ett avgivet meddelande. Detta kan ske genom att aktuellt fält/objekt 22,23 ändrar utseende, exempelvis färg eller form när detta sker. Man kan också tänka sig att man får denna information endast genom att bilden eller en del därav förändras, exempelvis kan nästa steg i informations- eller utförandekedjan presenteras.
I det följande kommer som ett exempel en konkret implementering av uppfinningen att presenteras. l figur 7 visas hur en markör 9 med ett väldefinierat mönster är . placerad pà ett fysiskt objekt 25. En användare 26 har sitt huvud riktat mot det fysiska objektet och markören. Pá huvudet har användaren en utrustning 27 med vilkens hjälp användaren både kan se den verkliga bildinformationen från det fysiska I o n Oo! 000 00 0090 10 15 20 25 30 35 11 objektet men också överlagrad virtuell bildinformation som är kopplad till position och riktning i förhållande till markören.
Med den huvudburna utrustningen 27 kan också användarens blick användas för interaktion mellan användaren och en dator 7 i vilken mjukvara för blickstyrd MR är implementerad. Den huvudbuma utrustningen är sammankopplad med datorn med hjälp av en sladd 28 som innehåller flera överföringskanaler samt strömförsörjnings- kanai l figur 8, där ögat är vid 1, visas olika delar som ingår i den huvudbuma utrustningen: Ett kamerasystem innefattande: o Färgkamera 29 med exempelvis FireWire-gränssnitt o Objektiv 30 till färgkamera 29 o Spegel 31 till färgkamera 29 och objektiv 30. Spegeln funktion är att minska parallax mellan kameran och ett mikrodisplaysystem, som presenteras nedan.
Ett mikrodisplaysystem innefattande: o Mikrodisplay 32 av transmissiv typ o Belysning 33 till mikrodisplay 32 o Drivelektronik 34 till mikrodisplay 32 o Stráldelare 35 o Sfärisk spegel 36 Ett blickriktningssensorsystem innefattande: o Svartvit kamera 37 med god känslighet i när-lR-området. Kameran kan exempel- vis ha FireWire gränssnitt. o När-IR-filter 38 som filtrerar bort visuell strålning o Objektiv 39 till kamera 37 o När-IR-belysning 40 som dels belyser upp ögat 1 och dels orsakar reflexer pà ögats comea. o Hot mirror 41, dvs. spegel som reflekterar när-lR-stràlning och transmitterar visuell strålning vid ungefär 45 graders infallsvinkel 10 15 20 25 30 f." Fï 1"' få F; f' oss. :lig _: u , 12 Figur 9 visar i form av ett flödesschema hur dator och implementerad programvara kan arbeta i ett system för blickstyrd MR.
P1.
P2.
P3.
P4.
P5.
P6.
P7.
P8.
P9.
P10.
P11.
P12.
P13.
P14.
P15.
Bildinformation, som beskriver verkligheten, 9 och 25 i figur 7, och registrerats av en kamera, 29 i figur 8.
Den registrerade bilden överförs via sladd 28 och FireWire gränssnitt tiil FireWire-interface i datorn, 7 ifigur 7.
Denna bildinformation gàr sedan till markördetektion som i sin tur består av tröskling av bildinformation och bestämning av vilken markör det rör och dess sex frihetsgrader.
Information om vilken markör det är skickas till en databas där virtuell bild- information som är kopplad till markörer är lagrad och markörens sex frihetsgrader skickas till datorgrafiksystemet där bildinforma- tionen från kameran (P1) mixas med den virtuella bildinformationen fràn data- basen (P6). Hur denna mixning sker bestäms dels av markörens sex frihets- grader fràn (P5) och dels av information fràn databasen (P6).
Den sammansatta bildinformationen från datorgrafiksystemet (P7) gàr till den huvudburna utrustningen, 27 ifigur 7, som bl.a. innehåller ett mikrodisplay- system.
Samtidigt registreras ögat av en kamera, 37 ifigur 8.
Den registrerade bilden överförs via sladd. 28 i figur 7, och FireWire gränssnitt till FireWire-interface i datom, 7 i figur 7.
Denna bildinformation gàr sedan till pupill- och reflex-detektion som i sin tur består av filtrering av bildinformation, tröskling av bildinformation och bestämning av pupillens position samt reflexemas position på cornea orsakade av när-IR-belysningen, 40 i figur 8.
Dessa positionsdata sätts in i ett ekvationssystem ur vilket blickriktningen faller ut. Blickriktningsdata gär till datorgrafiksystemet (P7) där fixeringspunkten markeras, exempelvis som ett kors i bilden.
Claims (8)
1. lnteraktivt förfarande för att presentera information i en bild för en användare, innefattande att användaren bär en huvudburen presentationsanordning (2+5,27), som presenterar en bild av omvärlden (3,9,25) för användaren, att användarens huvudposition och riktning fastställs i förhållande till omvärlden, att en beräkningsanordning (7) fastställer utifrån förgående steg vilken del av omvärlden som befinner sig framför användarens huvud, kännetecknat av att beräkningsanordningen fastställer var i ett hierarkiskt schema användaren befinner sig när det gäller information om och utförda moment avseende den del av omvärlden som befinner sig framför användarens huvud, att beräkningsanordningen fastställer utifrån föregående steg vilken information som skall presenteras för användaren och presenterar den i form av en virtuell bild som mixas med den verkliga bilden, att en central del av bilden definieras, att det i området utanför den centrala delen finns fält (22) och/eller objekt (23) avsedda att ingå i en överföring av meddelanden från användaren till - beräkningsanordningen, att användarens blickriktning i bilden fastställs och det tydliggörs när fixations- punkten (24) i bilden ligger i ett fält eller ett objekt och att beräkningsanordningen informeras om att användaren har tagit emot informationen resp. utfört de aktuella momenten i beroende av hur fixationspunkten (24) placeras ifält (22) och/eller objekt (23).
2. Förfarande enligt patentkravet 1, k ä n n e t e c k n a t a v att beräk- ningsanordningen bestämmer vilken information i det hierarkiska schemat som skall presenteras härnäst i beroende av hur fixationspunkten (24) placeras i fält (22) och/eller objekt (23).
3. Förfarande enligt patentkravet 1 eller 2, k ä n n e t e c k n a t a v att fälten/objekten (22,23) inte visas förrän användarens blick lämnat bildens centrala del. 10 15 20 14
4. Förfarande enligt något av patentkraven 1-3, k ä n n e t e c k n a t a v att det markeras när fixationspunkten (24) i bilden ligger pà ett fält (22) eller ett objekt (23) genom att fältet/objektet ändrar utseende, exempelvis färg eller form.
5. Förfarande enligt något av patentkraven 1-3, k ä n n e t e c k n a t a v att det markeras när fixationspunkten (24) i bilden ligger pà ett fält (22) eller ett objekt (23) genom att fixationspunkten presenteras i bilden på ett tydligt sätt, exempelvis som ett kors (24), när den ligger utanför den centrala delen av bilden, under det att den antingen inte presenteras eller presenteras pà ett icke störande sätt när den ligger i den centrala delen av bilden.
6. Förfarande enligt något av patentkraven 1-5, k ä n n e t e c k n a t a v att det markeras, genom att aktuellt fält/objekt (22,23) ändrar utseende, exempelvis färg eller form, när beräkningsanordningen (7) uppfattat ett avgivet meddelande.
7. Förfarande enligt något av patentkraven1-6, k ä n n e t e c k n a t a v att den huvudburna presentationsanordningen (2+5,27) mixar den verkliga bilden och den virtuella informationen med tekniken "optic-see-through”.
8. Förfarande enligt något av patentkraven 1-6, k ä n n e t e c k n a t a v att den huvudburna presentationsanordningen (2+5,27) mixar den verkliga bilden och den virtuella informationen med tekniken ”video-see-through".
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE0401582A SE0401582L (sv) | 2004-06-18 | 2004-06-18 | Interaktivt förfarande för att presentera information i en bild |
JP2007516439A JP2008502992A (ja) | 2004-06-18 | 2005-06-17 | イメージの情報を与える交信方法 |
CA002569138A CA2569138A1 (en) | 2004-06-18 | 2005-06-17 | Interactive method of presenting information in an image |
US11/629,868 US7948451B2 (en) | 2004-06-18 | 2005-06-17 | Interactive method of presenting information in an image |
PCT/SE2005/000936 WO2005124429A1 (en) | 2004-06-18 | 2005-06-17 | Interactive method of presenting information in an image |
EP05753634A EP1766456A1 (en) | 2004-06-18 | 2005-06-17 | Interactive method of presenting information in an image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE0401582A SE0401582L (sv) | 2004-06-18 | 2004-06-18 | Interaktivt förfarande för att presentera information i en bild |
Publications (3)
Publication Number | Publication Date |
---|---|
SE0401582D0 SE0401582D0 (sv) | 2004-06-18 |
SE525826C2 true SE525826C2 (sv) | 2005-05-10 |
SE0401582L SE0401582L (sv) | 2005-05-10 |
Family
ID=32906821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
SE0401582A SE0401582L (sv) | 2004-06-18 | 2004-06-18 | Interaktivt förfarande för att presentera information i en bild |
Country Status (6)
Country | Link |
---|---|
US (1) | US7948451B2 (sv) |
EP (1) | EP1766456A1 (sv) |
JP (1) | JP2008502992A (sv) |
CA (1) | CA2569138A1 (sv) |
SE (1) | SE0401582L (sv) |
WO (1) | WO2005124429A1 (sv) |
Families Citing this family (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8156186B2 (en) | 2005-11-11 | 2012-04-10 | Scenera Technologies, Llc | Method and system for organizing electronic messages using eye-gaze technology |
JP4989383B2 (ja) * | 2007-09-10 | 2012-08-01 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
EP2045774B1 (en) | 2007-10-05 | 2016-05-04 | Sony Computer Entertainment Europe Ltd. | Homography estimation from multithreshold edges of a feature |
US9812096B2 (en) | 2008-01-23 | 2017-11-07 | Spy Eye, Llc | Eye mounted displays and systems using eye mounted displays |
US8786675B2 (en) * | 2008-01-23 | 2014-07-22 | Michael F. Deering | Systems using eye mounted displays |
WO2009094587A1 (en) * | 2008-01-23 | 2009-07-30 | Deering Michael F | Eye mounted displays |
FR2954991A1 (fr) * | 2008-03-26 | 2011-07-08 | Smartio Systems | Procede et dispositif de pointage pour personne handicapee |
WO2011025450A1 (en) * | 2009-08-25 | 2011-03-03 | Xmreality Research Ab | Methods and systems for visual interaction |
US20110084983A1 (en) * | 2009-09-29 | 2011-04-14 | Wavelength & Resonance LLC | Systems and Methods for Interaction With a Virtual Environment |
FR2951293A1 (fr) * | 2009-10-13 | 2011-04-15 | Peugeot Citroen Automobiles Sa | Dispositif et procede d'aide a l'intervenvion sur un vehicule |
EP2499550A1 (en) * | 2009-11-10 | 2012-09-19 | Selex Sistemi Integrati S.p.A. | Avatar-based virtual collaborative assistance |
US9091851B2 (en) | 2010-02-28 | 2015-07-28 | Microsoft Technology Licensing, Llc | Light control in head mounted displays |
US9229227B2 (en) | 2010-02-28 | 2016-01-05 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a light transmissive wedge shaped illumination system |
US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
US9134534B2 (en) | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
US8477425B2 (en) | 2010-02-28 | 2013-07-02 | Osterhout Group, Inc. | See-through near-eye display glasses including a partially reflective, partially transmitting optical element |
US9366862B2 (en) | 2010-02-28 | 2016-06-14 | Microsoft Technology Licensing, Llc | System and method for delivering content to a group of see-through near eye display eyepieces |
US9129295B2 (en) | 2010-02-28 | 2015-09-08 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear |
US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
US9182596B2 (en) | 2010-02-28 | 2015-11-10 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light |
US8488246B2 (en) | 2010-02-28 | 2013-07-16 | Osterhout Group, Inc. | See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film |
US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
WO2011106798A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
US9759917B2 (en) | 2010-02-28 | 2017-09-12 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered AR eyepiece interface to external devices |
US9223134B2 (en) | 2010-02-28 | 2015-12-29 | Microsoft Technology Licensing, Llc | Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses |
US8472120B2 (en) | 2010-02-28 | 2013-06-25 | Osterhout Group, Inc. | See-through near-eye display glasses with a small scale image source |
US9341843B2 (en) | 2010-02-28 | 2016-05-17 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a small scale image source |
US9097891B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment |
US8482859B2 (en) | 2010-02-28 | 2013-07-09 | Osterhout Group, Inc. | See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film |
US10180572B2 (en) | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
US9285589B2 (en) | 2010-02-28 | 2016-03-15 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered control of AR eyepiece applications |
US9097890B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | Grating in a light transmissive illumination system for see-through near-eye display glasses |
US8467133B2 (en) | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
JP5652097B2 (ja) * | 2010-10-01 | 2015-01-14 | ソニー株式会社 | 画像処理装置、プログラム及び画像処理方法 |
US9213405B2 (en) * | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
US9690099B2 (en) * | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
CN102859470B (zh) * | 2011-03-15 | 2015-12-02 | 松下电器(美国)知识产权公司 | 对象控制装置、对象控制方法以及集成电路 |
US8190749B1 (en) | 2011-07-12 | 2012-05-29 | Google Inc. | Systems and methods for accessing an interaction state between multiple devices |
US8885882B1 (en) | 2011-07-14 | 2014-11-11 | The Research Foundation For The State University Of New York | Real time eye tracking for human computer interaction |
AU2011204946C1 (en) * | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
US9153195B2 (en) | 2011-08-17 | 2015-10-06 | Microsoft Technology Licensing, Llc | Providing contextual personal information by a mixed reality device |
WO2013028908A1 (en) | 2011-08-24 | 2013-02-28 | Microsoft Corporation | Touch and social cues as inputs into a computer |
US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
US9128520B2 (en) | 2011-09-30 | 2015-09-08 | Microsoft Technology Licensing, Llc | Service provision using personal audio/visual system |
US20130088507A1 (en) * | 2011-10-06 | 2013-04-11 | Nokia Corporation | Method and apparatus for controlling the visual representation of information upon a see-through display |
US9035878B1 (en) | 2012-02-29 | 2015-05-19 | Google Inc. | Input system |
US8643951B1 (en) | 2012-03-15 | 2014-02-04 | Google Inc. | Graphical menu and interaction therewith through a viewing window |
CN102998799A (zh) * | 2012-12-04 | 2013-03-27 | 深圳市长江力伟股份有限公司 | 一种虚境与实境融合近眼显示*** |
US20140267581A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks |
US20140280503A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | System and methods for effective virtual reality visitor interface |
US20140280506A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality enhanced through browser connections |
US20140280502A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Crowd and cloud enabled virtual reality distributed location network |
US20140280644A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Real time unified communications interaction of a predefined location in a virtual reality location |
US20140280505A1 (en) | 2013-03-15 | 2014-09-18 | John Cronin | Virtual reality interaction with 3d printing |
US9838506B1 (en) | 2013-03-15 | 2017-12-05 | Sony Interactive Entertainment America Llc | Virtual reality universe representation changes viewing based upon client side parameters |
JP6255706B2 (ja) * | 2013-04-22 | 2018-01-10 | 富士通株式会社 | 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム |
JP6138566B2 (ja) * | 2013-04-24 | 2017-05-31 | 川崎重工業株式会社 | 部品取付作業支援システムおよび部品取付方法 |
JP6155893B2 (ja) * | 2013-06-20 | 2017-07-05 | カシオ計算機株式会社 | 画像処理装置、及びプログラム |
US9625723B2 (en) * | 2013-06-25 | 2017-04-18 | Microsoft Technology Licensing, Llc | Eye-tracking system using a freeform prism |
US10228561B2 (en) * | 2013-06-25 | 2019-03-12 | Microsoft Technology Licensing, Llc | Eye-tracking system using a freeform prism and gaze-detection light |
JP6393986B2 (ja) * | 2013-12-26 | 2018-09-26 | セイコーエプソン株式会社 | 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法 |
US9993335B2 (en) | 2014-01-08 | 2018-06-12 | Spy Eye, Llc | Variable resolution eye mounted displays |
US9437159B2 (en) | 2014-01-25 | 2016-09-06 | Sony Interactive Entertainment America Llc | Environmental interrupt in a head-mounted display and utilization of non field of view real estate |
US9588343B2 (en) | 2014-01-25 | 2017-03-07 | Sony Interactive Entertainment America Llc | Menu navigation in a head-mounted display |
JP6244954B2 (ja) | 2014-02-06 | 2017-12-13 | 富士通株式会社 | 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム |
JP6217437B2 (ja) * | 2014-02-14 | 2017-10-25 | 富士通株式会社 | 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム |
JP2015195551A (ja) * | 2014-03-18 | 2015-11-05 | 株式会社東芝 | 画像表示装置及び画像表示方法 |
DE102014206625A1 (de) * | 2014-04-07 | 2015-10-08 | Bayerische Motoren Werke Aktiengesellschaft | Positionierung eines HMD im Fahrzeug |
JP2016045723A (ja) * | 2014-08-22 | 2016-04-04 | 株式会社ニコン | 電子機器 |
DE102014217961A1 (de) * | 2014-09-09 | 2016-03-10 | Bayerische Motoren Werke Aktiengesellschaft | Bestimmung der Pose eines HMD |
CN104202556B (zh) * | 2014-09-24 | 2018-05-08 | 北京智谷睿拓技术服务有限公司 | 信息获取方法、信息获取装置及用户设备 |
US10534429B2 (en) | 2017-01-10 | 2020-01-14 | International Business Machines Corporation | Method of instant sharing invoked from wearable devices |
US10348725B2 (en) | 2017-01-10 | 2019-07-09 | International Business Machines Corporatino | Method of instant sharing invoked from wearable devices |
NO20180179A1 (en) * | 2018-02-02 | 2019-04-08 | Kitron Asa | Method and system for augmented reality assembly guidance |
US10855978B2 (en) * | 2018-09-14 | 2020-12-01 | The Toronto-Dominion Bank | System and method for receiving user input in virtual/augmented reality |
US11374808B2 (en) | 2020-05-29 | 2022-06-28 | Corning Research & Development Corporation | Automated logging of patching operations via mixed reality based labeling |
US11295135B2 (en) * | 2020-05-29 | 2022-04-05 | Corning Research & Development Corporation | Asset tracking of communication equipment via mixed reality based labeling |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3260867B2 (ja) * | 1992-12-10 | 2002-02-25 | オリンパス光学工業株式会社 | 頭部装着型ディスプレイ |
JPH0764709A (ja) * | 1993-08-26 | 1995-03-10 | Olympus Optical Co Ltd | 指示処理装置 |
US5583795A (en) * | 1995-03-17 | 1996-12-10 | The United States Of America As Represented By The Secretary Of The Army | Apparatus for measuring eye gaze and fixation duration, and method therefor |
US6278418B1 (en) * | 1995-12-29 | 2001-08-21 | Kabushiki Kaisha Sega Enterprises | Three-dimensional imaging system, game device, method for same and recording medium |
JPH1173274A (ja) * | 1997-08-27 | 1999-03-16 | Canon Inc | 視線入力意思伝達装置、方法および記憶媒体 |
US6152563A (en) * | 1998-02-20 | 2000-11-28 | Hutchinson; Thomas E. | Eye gaze direction tracker |
JP3383228B2 (ja) | 1998-11-09 | 2003-03-04 | シャープ株式会社 | ヘッドマウントディスプレイ装置 |
GB2348520B (en) * | 1999-03-31 | 2003-11-12 | Ibm | Assisting user selection of graphical user interface elements |
US6456262B1 (en) * | 2000-05-09 | 2002-09-24 | Intel Corporation | Microdisplay with eye gaze detection |
JP2002157607A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像生成システム、画像生成方法および記憶媒体 |
JP2002157606A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体 |
JP3406965B2 (ja) * | 2000-11-24 | 2003-05-19 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法 |
JP3477441B2 (ja) * | 2000-12-08 | 2003-12-10 | 川崎重工業株式会社 | 画像表示装置 |
JP3437555B2 (ja) * | 2001-03-06 | 2003-08-18 | キヤノン株式会社 | 特定点検出方法及び装置 |
JP2003215494A (ja) * | 2002-01-22 | 2003-07-30 | Canon Inc | 複合現実感提示装置および画像処理方法 |
DE10244691A1 (de) | 2002-09-24 | 2004-04-01 | Audi Ag | Verfahren zum Aufbau eines Technikträgers |
US7002551B2 (en) * | 2002-09-25 | 2006-02-21 | Hrl Laboratories, Llc | Optical see-through augmented reality modified-scale display |
-
2004
- 2004-06-18 SE SE0401582A patent/SE0401582L/sv not_active IP Right Cessation
-
2005
- 2005-06-17 CA CA002569138A patent/CA2569138A1/en not_active Abandoned
- 2005-06-17 EP EP05753634A patent/EP1766456A1/en not_active Withdrawn
- 2005-06-17 US US11/629,868 patent/US7948451B2/en not_active Expired - Fee Related
- 2005-06-17 WO PCT/SE2005/000936 patent/WO2005124429A1/en active Application Filing
- 2005-06-17 JP JP2007516439A patent/JP2008502992A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2008502992A (ja) | 2008-01-31 |
CA2569138A1 (en) | 2005-12-29 |
SE0401582D0 (sv) | 2004-06-18 |
US20080024392A1 (en) | 2008-01-31 |
EP1766456A1 (en) | 2007-03-28 |
SE0401582L (sv) | 2005-05-10 |
US7948451B2 (en) | 2011-05-24 |
WO2005124429A1 (en) | 2005-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
SE525826C2 (sv) | Interaktivt förfarande för att presentera information i en bild | |
US11861062B2 (en) | Blink-based calibration of an optical see-through head-mounted display | |
US9898075B2 (en) | Visual stabilization system for head-mounted displays | |
Pfeiffer | Measuring and visualizing attention in space with 3D attention volumes | |
US20150103096A1 (en) | Display device, head mount display, calibration method, calibration program and recording medium | |
IL292427B1 (en) | Change, display and visualization of imaging using augmented and virtual reality glasses | |
EP3316080B1 (en) | Virtual reality interaction method, apparatus and system | |
US10528125B2 (en) | Method for operating a virtual reality system, and virtual reality system | |
US8690581B2 (en) | Opthalmoscope simulator | |
KR20220120649A (ko) | 인공 현실 콘텐츠의 가변 초점 디스플레이를 갖는 인공 현실 시스템 | |
EP3644826A1 (en) | A wearable eye tracking system with slippage detection and correction | |
US11156830B2 (en) | Co-located pose estimation in a shared artificial reality environment | |
US20200320720A1 (en) | Dynamic object tracking | |
US11644895B1 (en) | Attention cues for head-mounted display (HMD) | |
Qian et al. | Restoring the awareness in the occluded visual field for optical see-through head-mounted displays | |
JP2021002290A (ja) | 画像処理装置およびその制御方法 | |
WO2014128750A1 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
WO2021238966A1 (zh) | 测量眼球追踪设备延迟量的方法和设备、眼球追踪***以及非暂时性计算机存储介质 | |
JP7029722B2 (ja) | Ar装置、方法及びプログラム | |
KR101733519B1 (ko) | 3차원 디스플레이 장치 및 방법 | |
KR102501599B1 (ko) | 뷰-기반 정지점 | |
TWI704473B (zh) | 視線向量偵測方向與裝置 | |
JP6206949B2 (ja) | 視野制限画像データ作成プログラム及びこれを用いた視野制限装置 | |
KR20240100169A (ko) | 확장 현실 기술을 통해 재활 훈련 콘텐츠를 제공하기 위한 헤드 마운트 디스플레이 장치 | |
KR20220078366A (ko) | 핸드 트래킹을 이용한 재활 훈련 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
NUG | Patent has lapsed |