SE536990C2 - Förbättrad spårning av ett objekt för styrning av ett beröringsfritt användargränssnitt - Google Patents

Förbättrad spårning av ett objekt för styrning av ett beröringsfritt användargränssnitt Download PDF

Info

Publication number
SE536990C2
SE536990C2 SE1350064A SE1350064A SE536990C2 SE 536990 C2 SE536990 C2 SE 536990C2 SE 1350064 A SE1350064 A SE 1350064A SE 1350064 A SE1350064 A SE 1350064A SE 536990 C2 SE536990 C2 SE 536990C2
Authority
SE
Sweden
Prior art keywords
display
illumination
computing device
controller
camera
Prior art date
Application number
SE1350064A
Other languages
English (en)
Other versions
SE1350064A1 (sv
Inventor
Paul Cronholm
Original Assignee
Crunchfish Ab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crunchfish Ab filed Critical Crunchfish Ab
Priority to SE1350064A priority Critical patent/SE536990C2/sv
Priority to US14/761,664 priority patent/US20150363004A1/en
Priority to PCT/SE2014/050070 priority patent/WO2014116167A1/en
Priority to EP14742791.8A priority patent/EP2948830A4/en
Publication of SE1350064A1 publication Critical patent/SE1350064A1/sv
Publication of SE536990C2 publication Critical patent/SE536990C2/sv

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Datoranordning (100, 200) innefattande en skärm (120) och en styrenhet (210),varvid styrenheten (210) är anordnad att detektera och spåra ett objekt (H) via en av enkamera (160, 260) tillhandahållen videoström (265) och anpassa en belysning (IL1, IL2,ILS) av skärrnen (120) att ordentligt belysa objektet (H) for framgångsrik spåming avobjektet (H). datoranordningen (100, 200) är kännetecknad av att styrenheten (210)vidare är anordnad att detektera ett avstånd (D1, D2) till objektet som skall spåras (H)och att anpassa belysningen (IL1, IL2, ILS) av skärmen (120) på grundval av avståndet(D1, D2), så att om styrenheten detekterar ett Ökat avstånd, ökas belysningen, varvidbelysningen av objektet (H) tillhandahålles av belysning av skärmen (120). Att publiceras med figur 4

Description

25 30 35 536 990 SAMMANFATTNING Det är en aspekt av läroma enligt föreliggande ansökan att lösa de problem som listats ovan genom att tillhandahålla en datoranordning som innefattar en skärrn och en styrenhet, varvid styrenheten är anordnad att detektera och spåra ett objekt via en av en kamera tillhandahållen videoström och anpassa en belysning av skärmen för att ordentligt belysa objektet för framgångsrik spåming av objektet.
En sådan datoranordning är i stånd att ordentligt belysa ett objekt som skall spåras utan behov av ytterligare fotosändare.
I en utföringsforrn är styrenheten vidare anordnad att detektera ett avstånd till objektet som skall spåras och att anpassa belysningen av skärmen baserat på avståndet.
I en utföringsforrn är styrenheten vidare anordnad att detektera ett omgivande ljusförhållande och att anpassa belysningen av skärmen baserat på det omgivande ljusförhållandet.
I en utföringsform är styrenheten vidare anordnad att fastställa att det inte är möjligt att spåra objektet vid ett rådande ljusförhållande och som svar därpå anpassa belysningen av skärmen.
I en utföringsforrn är datoranordningen en mobil kommunikationsterrninal. I en utföringsform är datoranordningen en surfplatta eller en (bärbar) dator. I en utförings- form är datoranordningen en spelkonsol. I en utföringsforrn är datoranordningen en mediaenhet såsom en TV-apparat eller ett mediasystem.
Det är också en aspekt av läroma enligt föreliggande ansökan att lösa de problem som listats ovan genom att tillhandahålla en metod för användning i en datoranordning innefattande en skärm, varvid metoden innefattar att detektera och spåra ett objekt via en av en kamera tillhandahållen videoström och anpassa en belysning av skärmen för att ordentligt belysa objektet för framgångsrik spåming av objektet.
Det är vidare en aspekt av läroma enligt föreliggande ansökan att lösa de problem som listats ovan genom att tillhandahålla ett datorläsbart medium innefattande instruktioner som när de laddas i och exekveras av en styrenhet, såsom en processor, i en datoranordning medför exekvering av en metod i enlighet med häri.
Uppfinnarna till föreliggande uppfinning har, efter kreativt och insiktsfullt resonemang, insett att genom att använda en kamera konstruerad att verka i det synliga ljusspektrumet kan det omgivande ljuset med fördel användas för att belysa objektet.
Genom att komma till insikt om att belysningen som tillhandahålls av en (aktiv) skärm är en del av det omgivande ljuset och som sådan kan användas för att belysa objektet 10 15 20 25 30 35 536 990 minskar dessutom, vilket är av största vikt, behovet av särskilda extra lampor. Genom att komma till denna sinnrika insikt övervann dessutom uppfinnarna den inom området gängse uppfattningen att for att minska energiförbrukningen skall belysningen av skärmen reduceras i mörka omgivningar eftersom belysningen som behövs för att visa innehållet urskiljbart, jämfört med en ljus miljö, minskas. Dessutom finns en väl inrotad vanföreställning inom området mot att använda stark belysning i en mörk omgivning då en klart upplyst skärm minskar en användares mörkerseende.
Det sätt som lärs ut häri tillhandahåller sålunda en enkel lösning på ett lång- varigt problem och strider mot den rådande förutfattade meningen beträffande skärm- belysning.
Läroma häri finner användning i styrsystem för enheter med användargräns- snitt såsom mobiltelefoner, smarttelefoner, pekplattor, datorer (bärbara och stationära), spelkonsoler och media- och andra inforrnationsunderhållnings-anordningar.
Andra särdrag och fördelar hos de beskrivna utföringsforrnema kommer att framgå av den följande detaljerade beskrivningen, av de bifogade osj älvständiga patentkraven samt av ritningama. Generellt skall alla termer som används i patentkraven tolkas i enlighet med deras vanliga betydelse inom det tekniska området, om inte annat uttryckligen anges häri.
Alla hänvisningar till ”ett/en/det/den [element, anordning, komponent, organ, steg, etc.]” skall tolkas öppet som hänvisning till åtminstone ett exempel av elementet, anordningen, komponenten, organet eller steget, etc., om inget annat uttryckligen anges.
Stegen i de olika metoderna som beskrivs häri behöver inte uttryckligen utföras i exakt den ordning som beskrivs, såvida detta inte uttryckligen anges.
KORT BESKRIVNING AV RITNINGARNA Uppfinningen kommer att beskrivas mer i detalj med hänvisning till de bifogade ritningama, där: Figurerna 1A, 1B och 1C vardera visar en schematisk vy av en datoranordning i enlighet med läroma häri; Figur 2 visar en schematisk vy av komponentema hos en datoranordning i enlighet med läroma häri; Figur 3 visar en schematisk vy av ett datorläsbart minne i enlighet med läroma häri; Figurema 4A, 4B och 4C visar ett exempel på en utföringsform av en dator- anordning i enlighet med läroma häri; och 10 15 20 25 30 536 990 Figur 5 visar ett flödesschema som illustrerar en allmän metod i enlighet med en utföringsoim av lärorna häri.
DETALJERAD BESKRIVNING De beskrivna utföringsformerna kommer nu att beskrivas mer ingående med hänvisning till de bifogade ritningarna, på vilka vissa utföringsforiner av uppfinningen visas. Denna uppfinning kan emellertid utföras i många olika former och bör inte tokas såsom begränsad till utföringsformema som anges häri; dessa utforingsformer till- handahålls snarare som exempel for att denna beskrivning skall vara noggrann och fullständig och till fiillo förrnedla ramen för uppfinningen för fackmannen inom teknikonirådet. Samma nummer hänvisar genomgående samma element.
Figur 1 visar allmänt en datoranordning 100 i enlighet med en utföringsforrn häri. I en utföringsforrn är datoranordningen 100 anordnad för nätverkskommunikation, antingen trådlös eller trådbunden. Exempel på en datoranordning 100 är: en person- dator, bordsdator eller bärbar dator, en surfplatta, en mobil komrnunikationsterminal såsom en mobiltelefon, en smarttelefon, en personlig digital assistent och en spelkonsol.
Tre utföringsforrner kommer att exemplifieras och beskrivas såsom varande en smart- telefon i figur 1A, en bärbar dator i figur 1B och en mediaenhet 100 i figur 1C. En mediaenhet anses vara en datoranordning inom ramen för denna ansökan med avseende på att den är anordnad att ta emot digitalt innehåll, behandla eller beräkna innehållet och presentera resulterande eller beräknade media, såsom bild(er) och/eller ljud.
Med hänvisning till figur 1A innefattar en kommunikationsterrninal i form av en smarttelefon 100 ett hölje 110, i vilket en skärm 120 är anordnad. I en utföringsforrn är skärmen 120 en pekskärm. I andra utforingsforrner är skärmen 120 en icke-pekskärrn.
Smarttelefonen 100 innefattar vidare två knappar 130a, 130b. I denna utföringsform finns två knappar 130, men valfritt antal knappar är möjligt och beror på utformningen av smarttelefonen 100. I en utföringsform är smarttelefonen 100 anordnad att visa och driva en virtuell knapp 135 på pekskärmen 120. Det skall noteras att antalet virtuella knappar 135 beror på utformningen av smarttelefonen 100 och en applikation som exekveras på smarttelefonen 100. Smarttelefonen 100 är också utrustad med en kamera 160. Kameran 160 är en digitalkamera som är anordnad att ta video- eller stillbilder genom att spela in bilder på en elektronisk bildsensor (ej visad). I en utföringsform är kameran 160 en extern kamera. I en utföringsforrn är kameran, som en möjlighet, ersatt av en källa som tillhandahåller en bildström. 10 15 20 25 30 536 990 Med hänvisning till f1gur 1B innefattar en bärbar dator 100 en skärrn 120 och ett hölje 110. Hölj et innefattar en styrenhet eller CPU (ej visad) och en eller flera datorläsbara lagringsmedier (ej visade), såsom lagringsenheter och internt minne.
Exempel på lagringsenheter är skivenheter eller hårddiskar. Den bärbara datom 100 innefattar vidare åtminstone en dataport. Dataportar kan vara trådbundna och/eller trådlösa. Exempel på dataportar är USB- (Universal Serial Bus) portar, Ethemet-portar eller WiFi- (enligt IEEE-standard 802.11) portar. Dataportar är anordnade for att göra det möjligt för en bärbar dator 100 att anslutas till andra datoranordningar eller en server.
Den bärbara datorn 100 innefattar vidare åtminstone en inmatningsenhet såsom ett tangentbord 130. Andra exempel på inmatningsenheter är datormöss, pekplattor, pekskärrnar eller oysticks for att nämna några.
Den bärbara datorn 100 är vidare utrustad med en kamera 160. Kameran 160 är en digitalkamera som är anordnad att ta video- eller stillbilder genom att spela in bilder på en elektronisk bildsensor (ej visad). I en utföringsform är kameran 160 en extern kamera. I en utföringsform är kameran som ett alternativ ersatt av en källa som till- handahåller en bildström.
Med hänvisning till figur 1C innefattar en mediaenhet, såsom en TV-apparat, TV, 100 en skärm 120 och ett hölj e 110. Hölj et innefattar en styrenhet eller CPU (ej visad) och en eller flera datorläsbara lagringsmedier (ej visade), såsom lagringsenheter och intemt minne, för lagring av användarinställningar och styrmjukvara. Dator- anordningen 100 kan vidare innefattar åtminstone en dataport (ej visad). Dataportar kan vara trådbundna och/eller trådlösa. Exempel på dataportar är USB- (Universal Serial Bus) portar, Ethernet-portar eller WiFi- (enligt IEEE-standard 802.11) portar. Sådana dataportar är anordnade för att göra det möjligt för TV:n 100 att anslutas till ett externt lagringsmedium, såsom en USB-sticka, eller att anslutas till andra datoranordningar eller en server.
TV:n 100 kan vidare innefatta en inmatningsenhet såsom åtminstone en knapp 130 eller en fjärrkontroll l30b for manövrering av TV:n 100.
TV:n 100 är vidare utrustad med en kamera 160. Kameran 160 är en digital- kamera som är anordnad att ta video- eller stillbilder genom att spela in bilder på en elektronisk bildsensor (ej visad). I en utföringsform är kameran 160 en extern kamera. I en utföringsforrn är kameran som ett alternativ ersatt av en källa som tillhandahåller en bildström. 10 15 20 25 30 35 536 990 Figur 2 visar en schematisk vy av den allmänna strukturen av en anordning i enlighet med figur 1. Anordningen 100 innefattar en styrenhet 210 som är ansvarig for den totala driften av datoranordningen 200 och som företrädesvis är implementerad av valfri kommersiellt tillgänglig CPU (”Central Processing Unit” eller centralprocessor), DSP (”Digital Signal Processor” eller signalprocessor) eller valfri annan elektronisk programmerbar logisk anordning. Styrenheten 210 är anordnad att läsa instruktioner från minnet 240 och exekvera dessa instruktioner till att styra driften av datoranord- ningen 100. Minnet 240 kan implementeras under användande av valfri allmänt känd teknik for datorläsbara minnen såsom ROM, RAM, SRAM, DRAM, CMOS, FLASH, DDR, SDRAM eller någon annan minnesteknik. Minnet 240 används för olika ändamål av styrenheten 210, varav ett av dem är för att lagra applikationsdata och program- instruktioner 250 för olika mjukvarumoduler i datoranordningen 200. Mjukvaru- mo dulema omfattar ett realtidsoperativsystem, drivrutiner för ett användargränssnitt 220, en applikationshanterare liksom olika applikationer 250.
Datoranordningen 200 innefattar vidare ett användargränssnitt 220, vilket i datoranordningen i figurema 1A, 1B och 1C består av skärmen 120 och knappama 130, 135.
Datoranordningen 200 kan vidare innefatta ett radiofrekvensgränssnitt 230, vilket är anpassat att tillåta datoranordningen att kommunicera med andra anordningar via ett radiofrekvensband genom användning av olika radio frekvensteknologier.
Exempel på sådana teknologier är IEEE 802.11, IEEE 802.15, ZigBee, WirelessHART, WIFI, Bluetooth®, W-CDMA/HSPA, GSM, UTRAN och LTE för att nämna några.
Datoranordningen 200 är vidare utrustad med en kamera 260. Kameran 260 är en digitalkamera som är anordnad att ta video- och stillbilder genom att spela in bilder på en elektronisk bildsensor (ej visad).
Kameran 260 är operativt ansluten till styrenheten 210 för att förse styrenheten med en videoström 265, dvs. serien tagna bilder, for vidare behandling och om möjligt for användning i och/eller i enlighet med en eller flera applikationer 250. 1 en utforingsforrn är kameran 260 en extern kamera eller källa till en bild- ström.
Hänvisningar till ”datorläsbart lagringsmediumfl °datorprogramprodukt°, ”reellt/påtagligt/konkret utformat datorprogram” etc. eller en ”styrenhet°, °dator°, ”processor” etc. skall förstås omfatta inte enbart datorer med olika arkitekturer såsom enkel / multi-processorarkitekturer och sekventiella (Von Neumann)/parallella arkitekturer utan också specialiserade kretsar såsom fältprogrammerbara grindmatriser 10 15 20 25 30 35 536 990 (FPGA), applikationsspecifika kretsar (ASIC), signalbehandlingsanordningar och andra anordningar. Hänvisningar till datorprogram, instruktioner, kod etc. skall förstås omfatta mjukvara för en programmerbar processor eller hård mjukvara såsom, exempelvis, det programmerbara innehållet hos en hårdvaruanordning, huruvida instruktioner för en processor, eller konfigurationsinställningar för en fast-fiinktionsenhet, grindmatris eller programmerbar logikenhet etc.
Figur 3 visar en schematisk vy av ett datorläsbart medium såsom beskrivits ovan. Det datorläsbara mediet 30 är i denna utföringsforrn en dataskiva 30. I en utföringsform är dataskivan 30 en magnetisk datalagringsskiva. Dataskivan 30 är anordnad att bära instruktioner 31 som när laddade i en styrenhet, såsom en processor, exekverar en metod eller ett förfarande i enlighet med utforingsforrnerna som beskrivs ovan. Dataskivan 30 är anordnad att anslutas till eller inuti och läsas av en läsanordning 32, för inmatning av instruktionerna i styrenheten. Ett exempel på en läsanordning 32 i kombination med en (eller flera) dataskiva (dataskivor) 30 är en hårddisk. Det skall noteras att det datorläsbara mediet även kan vara andra medier såsom kompaktdiskar, digitala videodiskar, flashminnen eller andra, ofta använda minnesteknologier.
Instruktionerna 31 kan också laddas ner till en anordning som läser dator- uppgifter 34, såsom en bärbar dator eller annan anordning i stånd att läsa datorkodad data på ett datorläsbart medium genom att innefatta instruktionerna 31 i en datorläsbar signal 33 som överförs via ett trådlöst (eller trådbundet) gränssnitt (exempelvis via internet) till anordningen som läser datoruppgifter 34 för inmatning av instruktionerna 31 i en styrenhet. I en dylik utföringsforrn är den datorläsbara signalen 33 en typ av ett datorläsbart medium 30.
Instruktionerna kan lagras i ett minne (ej explicit visat i figur 3, men betecknat 240 i figur 2) hos den bärbara datorn 34.
Hänvisningar till datorprogram, instruktioner, kod etc. skall förstås att omfatta mjukvara för en programmerbar processor eller hård mjukvara såsom exempelvis det programmerbara innehållet hos en hårdvaruanordning, huruvida instruktioner för en processor, eller konfigurationsinställningar för en fast-fiinktionsanordning, grindmatris eller programmerbar logikenhet etc.
Ett förbättrat sätt för spårning av ett objekt kommer att beskrivas nedan med hänvisning till bifogade figurer. Exemplet kommer att illustreras med fokus på den av en skärm tillhandahållna resulterande belysningen, men det skall stå klart att behand- lingen delvis eller helt och hållet utförs i en datoranordning innefattande en styrenhet såsom beskrivs i det föregående med hänvisning till figurerna l och 2 eller förrnås 10 15 20 25 30 35 536 990 utföras genom att exekvera instruktionerna lagrade på ett datorläsbart medium såsom beskrivs med hänvisning till figur 3.
Figur 4A visar ett exempel på en datoranordning, i det här exemplet en bärbar dator 100 som i figur 1B, som är anordnad att detektera och spåra ett objekt, såsom en hand H, via en av en kamera 160 tillhandahållen videoström. Den bärbara datom har en skärm 120, på vilken objekt 135 visas. Skärmen är inställd att stråla eller belysas på en initial (eller normal) nivå. I figur 4A indikeras den initiala belysningen med streckade linjer hänvisade till som IL1. Den initiala belysningsnivån är beroende av ett antal faktorer som är uppenbara för en fackman och som också kan vara användarkonfigurer- bara. 1 figur 4A är handen på ett avstånd Dl från skärmen. I exemplet i figur 4A antas att det omgivande ljusförhållandet är tillräckligt ljust för att ordentligt belysa handen H så att kameran och styrenheten som använder de associerade datorinstruk- tionema kan spåra handen H. Hur ett dylikt objekt H detekteras och spåras beskrivs i svensk patentansökan SE 1250910-5 och kommer inte att diskuteras i detalj i före- liggande ansökan. För fler detaljer avseende detta hänvisas till nämnda svenska patentansökan. Det skall emellertid noteras att läroma i föreliggande ansökan kan implementeras genom användning av andra spåmingssätt än som beskrivs i svensk patentansökan SE 1250910-5. 1 exemplet i figurema 4A och 4B är det omgivande ljusförhållandet inte tillräckligt för att med framgång spåra ett detekterat objekt, såsom handen H, när handen H placeras på större avstånd, såsom avståndet D2, från skärmen 120.
I en utföringsforrn är den bärbara datom 100 anordnad att detektera att ett objekt förekommer framför skärmen 120/kameran 160 genom att analysera den tillhandahållna bildströmmen.
Ett sätt att detektera ett objekt bygger på det faktum att ett objekt som skall spåras mest sannolikt inte är statiskt placerat framför kameran 160 och rörelse kan sålunda detekteras genom att det sker ändringar mellan bildema i bildströmmen som utgör videoströmmen.
Eftersom det endast är nödvändigt för styrenheten att detektera ändringar för att fastställa att det förekommer rörelse av ett objekt och därigenom detektera ett objekt (såsom varande området där ändringarna detekteras) kan det ljus som krävs vara mindre än vad som behövs för att faktiskt spåra ett objekt. Vid spåming av ett objekt behövs fler detalj er om objektet för att fastställa hur objektet rör sig och att det är det objekt som spåras som faktiskt rör sig. 10 15 20 25 30 35 536 990 Vissa faktorer påverkar hur väl ett objekt kan detekteras. Exempel på sådana faktorer är färg, reflexion och struktur (skarpa eller jämna kanter) hos objektet. I ett dåligt upplyst rum är det exempelvis lättare att detektera ett vitt objekt än ett svart objekt.
När det blir omöjligt att spåra objektet H under användande av den av de omgivande ljusförhållandena tillhandhållna belysningen, anordnas den bärbara datom 100 att anpassa belysningen hos skärmen 120 för att öka belysningen och därigenom det omgivande ljuset for att bättre belysa handen H och möjliggöra framgångsrik spåming av objektet.
Under hänvisning till figur 4B är den bärbara datom 100 anordnad att detektera att handen H är på ett avstånd D2 från skärmen och som svar därpå anpassa belysningen av skärmen 120. I figur 4B indikeras detta genom längre streckade linjer som utgår från skärmen 120 och den ökade belysningen betecknas IL2.
Genom att öka belysningen hos skärmen förbättras det omgivande ljusförhåll- andet och den bärbara datom 100 är i stånd att med framgång spåra handen H för att ta emot styrinmatning som en del av användargränssnittet hos den bärbara datom 100.
I exemplen enligt figurema 4A och 4B detekterar styrenheten att handen H förflyttas bort från skärmen 120 och ökar som svar därpå belysningen av skännen 120.
Med hänvisning till figur 4C är den bärbara datom 100 anordnad att detektera att handen H är detekterbar men inte spårbar och att som svar därpå anpassa belys- ningen av skärmen 120. Denna bestämning kan göras genom att mäta det omgivande ljusförhållandet, exempelvis genom analys av den av kameran 160 tillhandahållna videoströmmen. I figur 4B indikeras detta genom längre streckade linjer som utgår från skärmen 120 och den ökade belysningen betecknas IL2.
Vad gäller exemplen i figurerna 4A och 4C är skärmen 120 initialt vid en första (initial) belysning IL1 (figur 4A), då det antingen fastställs (såsom förklarats ovan) att belysningen inte är tillräcklig eller att de omgivande ljusförhållandena ändras och blir otillräckliga. Figur 4C illustrerar det otillräckliga ljusförhållandet genom att vara skuggad. Den bärbara datom 100 är anordnad att detektera att ljusförhållandet inte är tillräckligt och som svar därpå öka belysningen av skärmen 120. I figur 4C indikeras detta genom längre streckade linjer som utgår från skärmen 120 och den ökade belys- ningen betecknas IL3.
I en utföringsforrn är den bärbara datom 100 anordnad att fastställa att objektet inte kan spåras genom att försöka utföra ett spåmingsförfarande utan framgång och som svar därpå öka belysningen av skärmen 120. Dylika spårningsförfaranden beskrivs i, 10 15 20 25 30 35 536 990 men är inte begränsade till, den svenska patentansökan SE 125 0910-5 och kommer inte att diskuteras i detalj i föreliggande ansökan.
I en utforingsforrn är den bärbara datorn 100 sålunda anordnad att detektera ett objekt och fastställa att objektet inte kan spåras under rådande ljusförhållanden (even- tuellt under användning av initial belysning IL1), på grundval av åtminstone något av alternativen att mäta det omgivande ljusförhållandet, detektera ett avstånd och/eller fastställa att ett spåmingsförfarande är utan framgång och som svar därpå öka belysningen av skärmen 120.
I en utföringsforrn är den bärbara datom 100 anordnad att stegvis eller linjärt justera belysningen av skärmen 120 till dess och/eller medan objektet som skall spåras är i stånd att spåras med framgång, exempelvis genom justering av belysningen av skärmen 120 så att objektet är klart urskiljbart, vilket kan fastställas genom analys av bilden/bildema i videoströmmen.
Det skall noteras att även om anpassningen som grundar sig på ljusforhållande och anpassningen som grundar sig på avstånd beskrivs separat i det ovanstående kan de båda kombineras till en anpassning som grundar sig på både avståndet och ljusför- hållandet. Anpassningen som grundar sig på bestämningen huruvida objektet som skall spåras kan spåras kan också kombineras med anpassningen som grundar sig på avstånd, anpassningen som grundar sig på ljusförhållande eller en kombination av dessa.
Såsom nämnts ovan beror urskiljbarheten av ett objekt på ett antal faktorer. I en utföringsforrn är den bärbara datom 100 anordnad att lagra en utseendeprofil for en användares föredragna styrobjekt eller objekt som skall spåras. Såsom användarens hand eller finger. De lagrade faktorerna kan hänföra sig till färg, reflekterande särdrag och/eller struktur. Genom att ha tillgång till information om objektet som skall spåras och hur lätt det kan urkilj as kan belysningsnivå, eventuellt den initiala belysningsnivån, anpassas för att möjliggöra en framgångsrik detektering och spåming av ett objekt utan att behöva fastställa en lämplig belysningsnivå genom att pröva sig fram. Detta kan exempelvis utföras när en ny användare loggar in på eller detekteras av datoranord- ningen.
Den lagrade utseendepro filen kan skilja sig åt beroende på det omgivande ljusförhållandet och den bärbara datom 100 kan anordnas att ta hänsyn till det omgivande ljusförhållandet vid fastställande av den initiala belysningsnivån (1L1).
I en utforingsforrn är den bärbara datom 100 anordnad att belysa skärmen 120 vid den ökade belysningsnivån 1L2, ILS under en första tidsperiod och att när den första tidsperioden har förflutit belysa skärmen 120 vid den initiala belysningsnivån 1Ll. 10 10 15 20 536 990 Exempel på den första tidsperioden är i storleksordningen 1 till 10 sekunder, 1 till 5 sekunder, 1 sekund, 2 sekunder eller 3 sekunder.
Figur 5 visar ett flödesschema av en allmän metod i enlighet med läroma häri.
En datoranordning detekterar och spårar 510 ett objekt, såsom en hand. Datoranord- ningen fastställer att ett objekt är otillräckligt belyst 520 och anpassar som svar därpå belysningen av skärmen 530. Belysningen av objektet kan fastställas på grundval av avståndet 523, det omgivande ljusförhållandet 526 eller en bildanalys av det detekterade objektet 529.
Uppfinningen lär sålunda ut att datoranordningen kan använda belysningen jämte ljusforhållandet hos skärmen för att säkerställa att belysningen av objektet som skall spåras är tillräckligt för att spåra objektet och for att anpassa belysningen i enlighet därmed.
Läroma häri tillhandahåller fördelen att ett objekt kan spåras även vid dåligt upplysta förhållanden och utan att fordra dyr utrustning.
En annan fördel ligger däri att lärorna häri rentav kan implementeras i befintliga anordningar genom en mjukvaruuppgradering.
Uppfinningen har i huvudsak beskrivits ovan med hänvisning till ett fåtal utforingsformer. Det är emellertid lätt för en fackman inom området att inse att andra utforingsformer än de som beskrivits ovan likaså är möjliga inom ramen för uppfinning- en såsom den definieras av de bifogade patentkraven. 11

Claims (10)

10 15 20 25 30 536 990 PATENTKRAV
1. Datoranordning (100, 200) innefattande en skärm (120) och en styrenhet (210), varvid styrenheten (210) är anordnad att: detektera och spåra ett objekt (H) via en av en kamera (160, 260) tillhanda- hållen videoström (265) och anpassa en belysning (IL1, IL2, IL3) av nämnda skärm (120) för att belysa objektet (H) så att datoranordningen kan spåra objektet (H) , varvid datoranordningen (100, 200) är kännetecknad av att styrenheten (210) vidare är anordnad att detektera ett avstånd (D1, D2) till objektet som skall spåras (H) och att anpassa belysningen (IL1, IL2, IL3) av skärmen (120) på grundval av avståndet (D1, D2), så att om styrenheten detekterar ett ökat avstånd, ökas belysningen, varvid belysningen av objektet (H) tillhandahålles av belysning av skärmen (120).
2. Datoranordningen (100, 200) enligt krav 1, varvid styrenheten (210) vidare är anordnad att detektera ett omgivande ljusfiirhållande och att anpassa belysningen (IL1, IL2, IL3) av skärmen (120) på grundval av det omgivande ljusförhållandet.
3. Datoranordningen (100, 200) enligt något av föregående krav, varvid styrenheten (210) vidare är anordnad att fastställa att objektet (H) inte går att spåra vid ett rådande ljusförhållande och som svar därpå anpassa belysningen (IL1, IL2, IL3) av skärmen (120).
4. Datoranordningen (100, 200) enligt krav 3, varvid styrenheten (210) vidare är anordnad att dynamiskt anpassa belysningen (IL1, IL2, IL3) av skärmen (120) till dess att objektet (H) är klart urskiljbart.
5. Datoranordningen (100, 200) enligt något av föregående krav vidare innefattande ett minne (240), och varvid styrenheten (210) vidare är anordnad att i minnet lagra en utseendeprofil for ett känt objekt som skall spåras och anpassa belysningen (IL1, IL2, IL3) av skärmen (120) på grundval av den lagrade utseende- profilen. 12 10 15 20 536 990
6. Datoranordningen (100, 200) enligt krav 5, varvid den lagrade utseende- profilen är associerad med ett omgivande ljusförhållande.
7. Datoranordningen (100, 200) enligt något av föregående krav, varvid styrenheten (210) vidare är anordnad att belysa skärmen (120) vid en anpassad belysningsnivå (IL2, IL3) under en första tidsperiod och när den första tidsperioden har fórflutit belysa skärmen (120) vid en initial belysningsnivå (IL1).
8. Metod för användning i en datoranordning (100, 200) innefattande en skärm (120), varvid metoden innefattar att: detektera och spåra ett objekt (H) via en av en kamera (160, 260) tillhanda- hållen videoström (265) och anpassa en belysning (IL1, IL2, IL3) av skärmen (120) för att belysa objektet (H) så att datoranordningen kan spåra objektet (H), varvid metoden kännetecknas av att den vidare innefattar detektering av ett avstånd (Dl, D2) till objektet som skall spåras (H) och anpassning av belysningen (IL1, IL2, IL3) av skärmen (120) på grundval av avståndet (Dl, D2), så att om ett ökat avstånd detekteras, ökas belysningen, varvid belysningen av objektet (H) tillhandahålles av belysning av skärmen (120).
9. Datorläsbart lagringsmedium (40) kodat med instruktioner (41) som, när laddade och exekverade på en processor, föranleder metoden enligt krav 8 att utföras. 13
SE1350064A 2013-01-22 2013-01-22 Förbättrad spårning av ett objekt för styrning av ett beröringsfritt användargränssnitt SE536990C2 (sv)

Priority Applications (4)

Application Number Priority Date Filing Date Title
SE1350064A SE536990C2 (sv) 2013-01-22 2013-01-22 Förbättrad spårning av ett objekt för styrning av ett beröringsfritt användargränssnitt
US14/761,664 US20150363004A1 (en) 2013-01-22 2014-01-22 Improved tracking of an object for controlling a touchless user interface
PCT/SE2014/050070 WO2014116167A1 (en) 2013-01-22 2014-01-22 Iimproved tracking of an object for controlling a touchless user interface
EP14742791.8A EP2948830A4 (en) 2013-01-22 2014-01-22 IMPROVED TRACKING OF AN OBJECT FOR CONTROLLING A TOUCH-FREE USER INTERFACE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
SE1350064A SE536990C2 (sv) 2013-01-22 2013-01-22 Förbättrad spårning av ett objekt för styrning av ett beröringsfritt användargränssnitt

Publications (2)

Publication Number Publication Date
SE1350064A1 SE1350064A1 (sv) 2014-07-23
SE536990C2 true SE536990C2 (sv) 2014-11-25

Family

ID=51228552

Family Applications (1)

Application Number Title Priority Date Filing Date
SE1350064A SE536990C2 (sv) 2013-01-22 2013-01-22 Förbättrad spårning av ett objekt för styrning av ett beröringsfritt användargränssnitt

Country Status (4)

Country Link
US (1) US20150363004A1 (sv)
EP (1) EP2948830A4 (sv)
SE (1) SE536990C2 (sv)
WO (1) WO2014116167A1 (sv)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE537579C2 (sv) * 2013-04-11 2015-06-30 Crunchfish Ab Bärbar enhet nyttjandes en passiv sensor för initiering av beröringsfri geststyrning
WO2015022498A1 (en) * 2013-08-15 2015-02-19 Elliptic Laboratories As Touchless user interfaces
US9501810B2 (en) * 2014-09-12 2016-11-22 General Electric Company Creating a virtual environment for touchless interaction

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144366A (en) * 1996-10-18 2000-11-07 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
AUPP048097A0 (en) * 1997-11-21 1997-12-18 Xenotech Research Pty Ltd Eye tracking apparatus
WO2007004377A1 (ja) * 2005-07-01 2007-01-11 Matsushita Electric Industrial Co., Ltd. 液晶表示装置
SE0602545L (en) * 2006-11-29 2008-05-30 Tobii Technology Ab Eye tracking illumination
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
DE102008055159A1 (de) * 2008-12-29 2010-07-01 Robert Bosch Gmbh Adaptive Winkel- und Leistungsanpassung bei 3D-Mikrospiegel-Lidar
ES2880475T3 (es) * 2009-04-01 2021-11-24 Tobii Ab Sistema de representación visual con iluminadores para el seguimiento de la mirada
JP5299866B2 (ja) * 2009-05-19 2013-09-25 日立コンシューマエレクトロニクス株式会社 映像表示装置
US8304733B2 (en) * 2009-05-22 2012-11-06 Motorola Mobility Llc Sensing assembly for mobile device
GB2474536B (en) * 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
TWI476632B (zh) * 2009-12-08 2015-03-11 Micro Star Int Co Ltd 運動物體辨識方法及基於運動物體辨識之指令輸入方法
US9442346B2 (en) * 2011-01-28 2016-09-13 Windy Place, Inc. Lighting and power devices and modules
EP2703950A4 (en) * 2011-04-28 2015-01-14 Nec Solution Innovators Ltd INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND RECORDING MEDIUM
US20130093646A1 (en) * 2011-10-18 2013-04-18 Reald Inc. Electronic display tiling apparatus and propagation based method thereof
WO2013135299A1 (en) * 2012-03-15 2013-09-19 Cherradi El Fadili Ibrahim Farid Extending the free fingers typing technology and introducing the finger taps language technology
US9119239B2 (en) * 2012-05-04 2015-08-25 Abl Ip Holding, Llc Gestural control dimmer switch
US9398229B2 (en) * 2012-06-18 2016-07-19 Microsoft Technology Licensing, Llc Selective illumination of a region within a field of view
TW201415291A (zh) * 2012-10-08 2014-04-16 Pixart Imaging Inc 基於物件追蹤的手勢辨識方法及系統
US9285893B2 (en) * 2012-11-08 2016-03-15 Leap Motion, Inc. Object detection and tracking with variable-field illumination devices

Also Published As

Publication number Publication date
SE1350064A1 (sv) 2014-07-23
US20150363004A1 (en) 2015-12-17
WO2014116167A1 (en) 2014-07-31
EP2948830A1 (en) 2015-12-02
EP2948830A4 (en) 2016-12-28

Similar Documents

Publication Publication Date Title
US9733763B2 (en) Portable device using passive sensor for initiating touchless gesture control
KR102524498B1 (ko) 듀얼 카메라를 포함하는 전자 장치 및 듀얼 카메라의 제어 방법
US9449561B1 (en) Light sensor obstruction detection
KR102406327B1 (ko) 출력 장치를 제어하는 방법 및 장치
US9967444B2 (en) Apparatus and method for capturing image in electronic device
US8449122B2 (en) Image marking method and apparatus
CN111586286A (zh) 利用多个相机改变图像的倍率的电子装置及方法
US11094267B2 (en) Proximity detection method, storage medium, and electronic device
US20190034022A1 (en) Method, mobile terminal and non-transitory computer-readable storage medium for adjusting scanning frequency of touch screen
US20140267874A1 (en) Indicating the operational status of a camera
SE538451C2 (sv) Förbättrad spårning av ett objekt för styrning av ett beröringsfritt användargränssnitt
KR20150008381A (ko) 수동적 적외선 범위 검색 근접성 탐지기
KR102469426B1 (ko) 이미지 처리 장치 및 이의 동작 방법
CN104777927A (zh) 影像式触控装置及其控制方法
KR102536148B1 (ko) 전자 장치의 동작 방법 및 장치
US20190028683A1 (en) Methods and apparatus for controlled shadow casting to increase the perceptual quality of projected content
SE536990C2 (sv) Förbättrad spårning av ett objekt för styrning av ett beröringsfritt användargränssnitt
US20210109600A1 (en) Methods and apparatuses for controlling a system via a sensor
CN107563259B (zh) 检测动作信息的方法、感光数组及影像传感器
WO2017107813A1 (zh) 智能设备的操控装置、智能设备、操作控制方法及装置
US9575613B2 (en) Touch-sensing apparatus, touch system, and touch-detection method
KR101088739B1 (ko) 차단 이미지를 이용한 정보 표시 방법 및 장치
US11089218B2 (en) Low power change detection and reduction of sensor power
KR102519803B1 (ko) 촬영 장치 및 그 제어 방법
WO2023172808A1 (en) Color and brightness adjustment algorithms