FI117217B - Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi - Google Patents

Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi Download PDF

Info

Publication number
FI117217B
FI117217B FI20035170A FI20035170A FI117217B FI 117217 B FI117217 B FI 117217B FI 20035170 A FI20035170 A FI 20035170A FI 20035170 A FI20035170 A FI 20035170A FI 117217 B FI117217 B FI 117217B
Authority
FI
Finland
Prior art keywords
orientation
display
information
imagex
info
Prior art date
Application number
FI20035170A
Other languages
English (en)
Swedish (sv)
Other versions
FI20035170A (fi
FI20035170A0 (fi
Inventor
Saju Palayur
Original Assignee
Nokia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Corp filed Critical Nokia Corp
Publication of FI20035170A0 publication Critical patent/FI20035170A0/fi
Priority to FI20035170A priority Critical patent/FI117217B/fi
Priority to US10/569,214 priority patent/US20060265442A1/en
Priority to KR1020067006378A priority patent/KR20060057639A/ko
Priority to JP2006530322A priority patent/JP2007534043A/ja
Priority to EP04767155A priority patent/EP1687709A2/en
Priority to CN2004800285937A priority patent/CN1860433B/zh
Priority to PCT/FI2004/050135 priority patent/WO2005031492A2/en
Publication of FI20035170A publication Critical patent/FI20035170A/fi
Application granted granted Critical
Publication of FI117217B publication Critical patent/FI117217B/fi
Priority to JP2009242494A priority patent/JP2010016907A/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/1463—Orientation detection or correction, e.g. rotation of multiples of 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Description

117217
MENETELMÄ JA JÄRJESTELMÄ KÄYTTÖLIITTYMÄN (USER INTERFACE) HALLITSEMISEKSI, VASTAAVA LAITE JA OHJELMALLISET (SOFTWARE) VÄLINEET MENETELMÄN TOTEUTTAMISEKSI
5 Keksintö koskee menetelmää näytöllä käyttäjälle esitettävän informaation orientaation hallitsemiseksi, jossa informaatiolla on tavoiteorientaatio ja jossa menetelmässä - määritetään näytön orientaatio suhteessa näytöllä esitettävään informaatioon ja 10 - jos näytöllä esitettävän informaation orientaatio eroaa tavoiteorientaatiosta, toteutetaan orientaa-tiomuutos, jonka muutoksen seurauksena näytöllä esitettävän informaation orientaatio saatetaan vastaamaan tavoiteorientaatiota.
15
Lisäksi keksintö koskee myös järjestelmää, vastaavaa laitetta ja ohjelmallisia välineitä menetelmän toteuttamiseksi.
Kannettavista (portable) näyttöosan käsittävistä laitteista 20 (devices), kuten esimerkiksi (ei mitenkään kuitenkaan muita laitteita poissulkevasti) matkaviestimistä (mobile stations) .·*·. ja PDA-laitteista (Personal Digital Assistant) on nykyisin • · · !*. tunnettua esimerkiksi erilaiset multimedia- ja videoneuvotte- » .···* lutoiminnot. Näissä käyttäjä havainnoi laitteen näytöllä kul- • ·*· 25 loinkin esitettyä informaatiota ja samalla (esimerkiksi vi- ** * ·***: deoneuvottelussa) esiintyy myös itse vastaosapuolena, jota • * varten laitteen yhteyteen kuuluu kameravälineet.
···
Joissain tilanteissa, jotka liittyvät (ei kuitenkaan jälleen 30 mitenkään muita tilanteita poissulkevasti) esimerkiksi edellä mainittujen ominaisuuksien käyttöön, saattaa käyttäjällä ilme-.*··. tä kesken toiminnon (kuten esimerkiksi videoklipin katselun tai neuvottelutilanteen) muuttaa näyttöosan suuntaa normaalis- φ * ta, esimerkiksi pystysuorasta orientaatiosta (vertical orien- • 35 tation) johonkin muuhun orientaatioon, kuten esimerkiksi vaa- 117217 kasuoraan orientaatioon (horizontal orientation) . Tulevaisuudessa tarve näytöllä esitettävän informaation orientoimistoi-menpiteille tullee merkittävästi lisääntymään muun muassa juuri näiden ominaisuuksien läpilyönnin myötä.
5
Edellä olevan lisäksi, jotkut viimeaikaisimmat matkaviestin-mallit tekevät tunnetuiksi erilaisia käyttöorientaatiovaih-toehtoja. Perinteisen pystyorientoidun laiterakenteen lisäksi laite voidaan orientoida myös vaaka-asentoon. Tällöin myös 10 laitteen näppäimistö voidaan sopeuttaa orientaatiomuutokseen. Myös näytöt voivat olla tehollisilta pysty- ja vaakadimen-sioiltaan toisistaan eroavia, jolloin tarve esimerkiksi näyt-töosan vaaka/pystysuuntaiselle -orientaatiomuutokselle saattaa syntyä kulloinkin tarkoituksenmukaisinta näytön asentoa haet-15 taessa.
Vielä eräänä esimerkkinä tällaisesta orientaation sopeutusti-lanteesta voidaan mainita tietyt erikoistilanteet, kuten esimerkiksi autoilu. Autoiltaessa matkaviestin saattaa olla si-20 jainniltaan kuljettajaan nähden epäedullisessa asennossa ollen esimerkiksi kiinnitettynä auton kojelautaan. Tällöin näytöllä esitetyn informaation olisi ainakin parempaa käyttäjäystäväl- • · · ϊ\β 1isyyttä tavoiteltaessa edullista mukautua kuljettajan ja mat- • ...*· kaviestimen keskinäiseen sijaintiasetelmaan. Käytännössä tämä * 25 tarkoittaa sitä, että näytöllä esitettävän informaation olisi ·*·*: edullista orientoitua kuljettajaan nähden mahdollisimman tar- • * :***: koituksenmukaisesti eli se voitaisiin esittää näytöllä perin- ·β· teisten pysty- tai vaakaorientaatioiden sijasta viistosti.
« ♦ * « · • » * * 30 Tunnetuilla tekniikoilla tällaisen suorakulmaisesta orientaa- ··* tiomuutoksesta poikkeavan orientaatiomuutoksen aikaan saaminen .*·. on liki mahdotonta. Tunnetulla tekniikalla toiminnon aikaan- * * . saamista tällaisessa tilanteessa vaikeuttaa vielä erityisesti • · ... se seikka, että tällöin laitteeseen ei kohdisteta orientaa- • · ♦ • · 1 tiomuutoksia, josta juuri tunnetun tekniikan mukaan näytön 3 117217 orientaatiomuutos suhteessa asetettuun kiinnekohtaan nähden on määritetty.
Eräs ensimmäinen tunnettua tekniikkaa edustava ratkaisu lai-5 tetta ja erityisemmin sen näyttöosaa uudelleen orientoitaessa on suorittaa laitteen näyttöosalla esitettävän informaation orientaation muutos laitteen menuasetuksista. Tällöin voidaan esimerkiksi laitteen näyttöosan orientaatiota vaihtaa asetetulla tavalla määritetystä pystyorientoidusta näytöstä (esi-10 merkiksi näytön kapeammat sivut tällöin katsojaan nähden näytön ala- ja yläreunalla) asetetulla tavalla määriteltyyn vaa-kaorientoituun näyttöön (esimerkiksi näytön kapeammat sivut tällöin katsojaan nähden näytön vasemmalla ja oikealla reunalla) .
15
Menuasetuksista suoritettava orientaatiomuutos saattaa edellyttää käyttäjältä menuhierarkian syvällistäkin läpikahlaamista ennen kuin haluttu toiminnon aikaan saava kohta löytyy. Kuitenkin, kesken esimerkiksi katseltavan multimediaklipin tai 20 suoritetun videoneuvottelun tämän toimenpiteen suoritus käyttäjän toimesta ei ole mitenkään käyttäjäystävällistä. Lisäksi .·**. menuasetuksin tehtävä informaation orientaatiomuutos saattaa • · rajoittua vain tiettyihin ennalta kiinnitettyihin informaation • ····· orientaatiomuutoksiin. Näistä esimerkkeinä mainittakoon näy- * ·*· 25 töllä esitettävän informaation kyvykkyys vain 90 ja 180 asteen **· · orientaatiomuutoksiin.
• * • ·« • · « ·
Edelleen tekniikan tasosta tunnetaan lukuisia kehittyneempiä-kin ratkaisuja edellä esitettyyn toimenpiteeseen liittyvien 30 ongelmien ratkaisemiseksi ja suorittamiseksi jopa esimerkiksi täysin automaattisesti. Eräitä esimerkkejä tällaisista ratkai-.·**. suista ovat laitteeseen järjestetyt erilaiset kulma- / kallis- tusanturit / -sensorit / -kytkimet (angle / tilt probes / sen- • * sors / switches) , rajakytkimet (limit switches) , kiihtyvyysan- » · 35 turit ja laitteen läppäkansien aukioloa analysoivat tunnisti- 117217 met (sensors for flap opening) . Nämä voidaan toteuttaa niin mekaanisina, sähköisinä tai näiden yhdistelminäkin. Kallistukseen / kulmamittauksiin perustuvissa laiteratkaisuissa laitteen ja erityisemmin sen näyttöosan orientaatio määritetään 5 suhteessa asetettuun kiinnekohtaan nähden. Kiinnekohta on tällöin näiden gravitaatiovaikutukseen perustuvasta toimintaperiaatteesta johtuen maapallo.
Näistä eräänä viitteinä mainittakoon W0-julkaisu 01/43473 10 (TELBIRD LTD), jossa esitetyssä ratkaisussa käytetään laitteeseen sijoitettuja mikrokoneistettuja kallistusmittareita (mic-romachined tilt meters).
Mekaanis- ja puolimekaanistyyppiset tunnistinratkaisut ovat 15 kuitenkin esimerkiksi kannettaviin laitteisiin hankalasti toteutettavissa. Ne nostavat laitteiden valmistuskustannuksia ja näin ollen myös niiden kuluttajahintaa. Lisäksi näiden käyttöön liittyy aina tietty rikkoutumisvaara, johon liittyen rikkoutuneen tunnistimen vaihtaminen ei ole kannattavaa tai jois-20 sain tapauksissa ei edes mahdollista laitteiden pitkälle viedystä integrointiasteestä johtuen.
• * « i ·»·
Myös sähkömekaanistyyppisten antureiden toiminta saattaa olla • ·;··* epävarmaa tietyissä laitteen orientaatioasennoissa. Vielä li- « ·'· 25 saksi voidaan mainita näiden ratkaisujen orientaatiomäärityk- *·* * ·*·*: siin liittyvät epälineaarisuusominaisuudet. Tästä esimerkkinä * * mainittakoon kallistusmittaus, jossa laitteen/näytön orientaa- ··« tiota kuvaava signaali saattaa vastata muodoltaan sini-käyrää.
• · · • · * ·« * 30 Sen lisäksi, että edellä esitetyt anturi/sensori -ratkaisut ovat hankalasti ja epäedullisesti toteutettavissa esimerkiksi ·"*. kannettaviin laitteisiin, edellyttävät ne laitteelta lähes poikkeuksetta fyysistä orientaatiomuutosta asetettuun kiinne- * 35 ritetään. Jos laitteen käyttäjä, esimerkiksi autoa ajaessaan ;·β·β kohtaan (maapalloon) nähden, jonka suhteen orientaatiota mää- * 5 117217 on matkaviestimen näyttöön ja sillä esitettyyn informaatioon nähden epäedullisessa asennossa, ei edellä esitetyt anturirat-kaisut reagoi tilanteeseen millään tavalla. Myös menuasetuk-sista tehtävä orientaatiomuutos ei kiinnitetyn suuruisena pys-5 ty tarjoamaan ratkaisua tällaisessa tilanteessa informaation orientoimiseksi käyttötilanne huomioiden tarkoituksenmukaisimmalla tavalla. Tällaisiin tapauksiin, joissa laitteen orientaatio on esimerkiksi kiinnitetty, on informaation orientoimiseksi tarkoituksenmukaiseksi käyttäjän suoritettava jatkuvaa 10 päänsä kallistelua, joka ei ole miellyttävä eikä mukava tapa käyttää laitetta.
Tämän keksinnön tarkoituksena on saada aikaan uudenlainen menetelmä ja järjestelmä näytöllä esitettävän informaation 15 orientaation hallitsemiseksi. Keksinnön mukaisen menetelmän tunnusomaiset piirteet on esitetty oheisessa patenttivaatimuksessa 1 ja järjestelmän patenttivaatimuksessa 7. Lisäksi keksintö koskee myös vastaavaa laitetta, jonka tunnusmerkilliset piirteet on esitetty patenttivaatimuksessa 10 ja ohjelmallisia 20 välineitä menetelmän toteuttamiseksi, joiden tunnusmerkilliset .···. piirteet on esitetty patenttivaatimuksessa 11.
• · • · * • « • * « §·
Keksinnölle on tunnusomaista se, että näytöllä käyttäjälle φ * : esitettävän informaation orientaatiota hallitaan siten, että • · * ««* § 25 informaatio on aina oikeassa orientaatiossa käyttäjään nähden.
• 4 4 4 Tämän toteuttamiseksi näyttö tai yleensäkin keksinnön mukai-seen laitteeseen kuuluu kameravälineet, joilla muodostetaan 2 kuvainformaatiota näytön orientaation määrittämiseksi. Näytön * * · · orientaatio voidaan määrittää esimerkiksi kuvainformaation ku- 4 4 m 30 vakohteesta valittuun kiinnekohtaan nähden. Kun näytön orien- 4 4 .···. taatio tiedetään, voidaan sen perusteella orientoida sillä • 4 4 4 4 • e esitettävä informaatio käyttäjään nähden tarkoituksenmukaises- 4 · ti.
4 4 4 « 4 4 4 6 117217
Erään sovellusmuodon mukaan kuvainformaation kuvakohteeksi voidaan menetelmässä yllättäen valita esimerkiksi laitteen käyttäjä, jota kameravälinein kuvataan. Kuvainformaatiota analysoidaan kuvakohteesta yhden tai useamman valitun piirteen, 5 joka edullisesti voi olla käyttäjän kasvonpiirre, löytämiseksi . Kun valittu piirre löydetään, joka erään sovellusmuodon mukaan voi olla esimerkiksi käyttäjän silmäkohdat, niin niiden muodostamasta silmälinjasta, voidaan määrittää käyttäjän orientaatio näyttoosan suhteen.
10
Piirteen orientaatiosta kuvainformaatiossa voidaan tämän jälkeen päätellä näyttöosan orientaatio esimerkiksi määritettyyn kiinnekohtaan eli esimerkiksi käyttäjään nähden. Kun näyttoosan orientaatio määritettyyn kiinnekohtaan tai yleensäkin 15 suhteessa sillä esitetyn informaation orientaatioon nähden tiedetään, niin sen perusteella voidaan orientoida myös näyt-töosalla esitettävä informaatio olemaan käyttäjään nähden erittäin tarkoituksenmukaisesti.
20 Erään sovellusmuodon mukaan näyttöosan orientaatiotilaa voi-daan määrittää asetetulla tavalla jaksollisesti. Orientaation * » jatkuva määrittäminen ei ole näin ollen välttämätöntä, mutta j ·» toki mahdollista. Tällaisella jaksollisella määrityksellä saa- * · : voitetaan säästöä muun muassa laitteen virrankulutuksessa ja • · · ·»» · 25 yleisessä prosessointitehossa, johon keksinnön mukaisen mene- • · • f .···. telmän sovittaminen ei kuitenkaan luo mitenkään kohtuutonta • · ··· kuormitusta.
• « · * · · • 6 · · ·”*· Jos jaksollinen orientaation määrittäminen suoritetaan esimer- • · · 30 kiksi erään sovellusmuodon mukaan siten, että se suoritetaan
• B
,···. kerran 1-5 sekunnissa, edullisesti esimerkiksi 2-3 sekun- * ^ nin välein, niin tällaisella ei-jatkuvalla tunnistuksella ei e] / oleellisesti vaikuteta menetelmän toimivuuteen tai laitteen • « 4 • * * * käyttömukavuuteen, vaan informaation orientaatio mukautuu 1 näyttöosan orientaatioon kohtuullisen nopeaan tahtiin.
7 117217
Kuvainformaation analysoinnissa käytettäviä algoritmeja kasvonpiirteiden, kuten esimerkiksi silmäkohtien löytämiseksi ja niistä määritetyn silmälinjan orientaation määrittämiseksi ku-5 vainformaatiosta tunnetaan lukuisia kasvonpiirrealgoritmiikan alalta ja niiden valintaa ei keksinnön mukaisessa menetelmässä mitenkään rajoiteta. Lisäksi kuvainformaatiosta löydetyn kuva-kohteen orientaation määritys kuvainformaatiossa ja tämän perusteella suoritettava näyttöosalla esitettävän informaation 10 orientoiminen voidaan suorittaa lukuisin eri algoritmein ja referenssiorientaatio/kiinnekohta valinnoin.
Keksinnön mukaisen menetelmän, järjestelmän ja ohjelmallisten välineiden integroiminen niin nykyisiin kuin myös vasta suun-15 nitteilla oleviinkin laitteisiin, jotka erään sovellusmuodon mukaan voivat olla kannettavia, voidaan suorittaa melko yksinkertaisesti. Menetelmä voidaan toteuttaa puhtaasti ohjelmatasolla, mutta toisaalta myös laitteistotasolla tai näiden yhdistelmänä. Edullisin toteutustavoista lienee kuitenkin puhdas 20 ohjelmistototeutus, koska tällöin esimerkiksi tunnetussa tek-.···. nilkassa esiintyvät mekaniikat poistuvat kokonaan pienentäen 9 · «·· laitteen valmistuskustannuksia ja siten myös hintaa.
• M » 9 • * : .·. Keksinnön mukainen ratkaisu ei juurikaan lisää kameravälineet • · · ··· 9 25 käsittävän laitteen kompleksisuutta siinä määrin, että siitä • · • · .···. olisi mainittavaa haittaa esimerkiksi laitteiden prosessointi- *** tehoon tai muistinkäyttöön.
• · 9 9 9 9 9 9 •99 9 ;***: Muut keksinnön mukaiselle menetelmälle, järjestelmälle, lait- 30 teelle ja ohjelmallisille välineille ominaiset piirteet käyvät • * ,**. ilmi oheisista patenttivaatimuksista ja lisää saavutettavia • 9 999 •a etuja on lueteltu selitysosassa.
* 9 99 9 9 9 9 • 9 • * Seuraavassa keksinnön mukaista menetelmää, järjestelmää, lai- 1 tetta ja ohjelmallisia välineitä menetelmän suorittamiseksi, 8 117217 joita ei ole rajoitettu seuraavassa esitettäviin suoritusmuotoihin, selostetaan tarkemmin viittaamalla oheisiin kuviin, joissa 5 Kuva 1 esittää erästä esimerkkiä keksinnön mukai sesta järjestelmästä järjestettynä kannettavaan laitteeseen kaaviokuvana,
Kuva 2 esittää erästä esimerkkiä keksinnön mukai sesta menetelmästä vuokaaviona, 10 Kuvat 3a - 3d esittävät erästä ensimmäistä sovel lusesimerkkiä keksinnön mukaisesta menetelmästä ja
Kuvat 4a ja 4b esittävät erästä toista sovellusesimerkkiä keksinnön mukaisesta menetelmästä.
15
Kuvassa 1 on esitetty eräs esimerkki keksinnön mukaisesta järjestelmästä kannettavassa laitteessa 10, jota jatkossa kuvataan sovellusesimerkkinä matkaviestimen tapauksessa. On huomattava, että kannettavien kädessä pidettävien (hand-held) 20 laitteiden lajikategoria, joihin keksinnön mukaista menetelmää ja järjestelmää voidaan soveltaa, on huomattavan laaja. Eräitä ’··** muita esimerkkejä tällaisista kannettavista laitteista ovat ·· « « • ** PDA-tyyppiset laitteet (esimerkiksi Palm, Vizor), kämmekät, älypuhelimet (smart phones), kannettavat pelikonsolit, musiik- • · · 25 kisoitinlaitteet ja digikamerat. Yhteistä keksinnön mukaisille * · « laitteille on kuitenkin se, että niihin kuuluu tai että niihin • » *** on jollain tapaa liitettävissä kameravälineet 11 kuvainformaa- , , tion IMAGEx muodostamiseksi. Laite voi olla myös esimerkiksi « · · • « « **!." kiinteästi järjestetty videokonferenssilaitteisto, jossa esi- • « • t *** 30 merkiksi mikrofonijärjestelyin tunnistetaan kulloinkin puhuva « osapuoli.
t · • « ··· ***** Kuvassa 1 esitetty matkaviestin 10 voi olla sinänsä tunnettua »» i • *.· tyyppiä, jonka keksinnön kannalta epäoleellisia osia, kuten 35 esimerkiksi lähetin/vastaanotinosaa 15 ei tässä yhteydessä sen 9 117217 enempää ole tarpeen selostaa. Matkaviestimeen 10 kuuluu digitaalinen kuvannusketju (imaging chain), joka voi käsittää sinänsä tunnetut kamerasensorivälineet 11.1, linssistöineen ja sinänsä tunnetunlaisen kuvankäsittelyketjun 11.2, joka on so-5 vitettu prosessoimaan ja tuottamaan digitaalista still- ja/tai videokuvainformaatiota IMAGEx.
Varsinainen kamerasensorin 11.1 käsittävä fyysinen kokonaisuus voi olla laitteessa 10 tai yleensäkin laitteen 10 näytön 20 10 yhteydessä joko kiinteästi tai irrotettavasti. Lisäksi sensori 11.1 voi olla myös suunnattavissa. Erään sovellusmuodon mukaan kamerasensori 11.1 on suunnattu tai ainakin sovitettavissa suunnattavaksi kohti laitteen 10 käyttäjää 21 keksinnön mukaisen menetelmän edullisten sovellusmuotojen mahdollistamiseksi. 15
Laitteen 10 toimintoja voidaan ohjata prosessoriyksiköllä DSP/CPU 17, jolla hallitaan muun muassa laitteen 10 käyttöliittymää GUI 18. Edelleen käyttöliittymällä 18 ohjataan näytönohjainta 19, joka edelleen ohjaa fyysisen näyttöosan 20 20 toimintaa ja sillä esitettävää informaatiota INFO. Lisäksi .···. laitteeseen 10 voi kuulua myös näppäimistoosa 16.
• · <·* · • · • ♦· *
Keksinnön mukaisen menetelmän toteuttamiseksi laitteeseen 10 « * : ,·. on järjestetty eräitä menetelmän mahdollistavia toiminnalli- • · » *** · j·.·. 25 suuksia. Kuvankäsittelyket jun 11.2 yhteyteen on liitetty va- * · ·***· littu kuvainformaation IMAGEx analysointialgoritmitoiminnalli- ·* * suus 12. Algoritmitoiminnallisuus voi erään sovellusmuodon mu- •·*; kaan olla sellaista tyyppiä, jolla etsitään kuvainformaatiosta * IMAGEx valittua yhtä tai useampaa piirrettä 24.
#«· 30 • * .···. Kun kamerasensori 11.1 on suunnattu menetelmän kannalta tar- • · *· · ' . koituksenmukaisesti eli se on kohden laitteen 10 näyttöä 2 0 * · .. , tarkastelevaa käyttäjää 21, niin tällöin käyttäjästä 21 on « i » • · useimmiten kamerasensorin 11.1 muodostamassa kuvainformaatios- 1 sa IMAGEx kuvakohteena ainakin hänen päänsä 22. Käyttäjän 21 10 117217 päästä 22 voidaan edelleen etsiä valittuja kasvonpiirteitä (facial features), joista edelleen voidaan etsiä tai määrittää valittuja yksiä tai useampia piirteitä 24 tai niiden yhdistelmiä.
5
Eräs ensimmäinen esimerkki tällaisesta kasvonpiirteestä voi olla käyttäjän 21 silmäkohdat 23.1, 23.2. On olemassa lukuisia eri suodatusalgoritmeja, joilla voidaan tunnistaa käyttäjän 21 silmäkohdat 23.1, 23.2 tai niistä vielä jopa silmät. Silmäkoh-10 dat 23.1, 23.2 voidaan tunnistaa esimerkiksi käyttäen valittua epälineaarista suodatusalgoritmia 12, jolla löydetään molempien silmien kohdissa olevat laaksot.
Edelleen laitteeseen 10 kuuluu sovellusmuodon mukaisessa tapa-15 uksessa myös toiminnallisuus 13 silmäkohtien 23.1, 23.2 tai yleensäkin niiden muodostaman piirteen, tässä tapauksessa sil-mälinjan 24 orientaation Oeyeiine tunnistamiseksi kameraväli-neillä 11.1 muodostetussa kuvainformaatiossa IMAGEx. Tätä toiminnallisuutta 13 seuraa toiminnallisuus 14, jolla näytöllä 20 20 esitettävä informaatio INFO voidaan orientoida kuvainformaati-.···. osta IMAGEx tunnistetun piirteen 24 orientaation Oeyeiine mukaan • m 4 · · ;·. kulloiseenkin käyttötilanteeseen sopivaksi. Tämä tarkoittaa • *♦ 4 sitä, että näytön 20 orientaatio OdiSpiay voidaan tunnistaa j piirteen 24 orientaatiosta Oeyeiine kuvainformaatiossa (IMAGEx) ·· * !V. 25 ja sen jälkeen orientoida näytöllä 20 esitettävä informaatio • * .···. INFO olemaan tarkoituksenmukaisesti suhteessa käyttäjään 21 • ·* nähden.
• * «Il • 4 4 444 4
Orientoimistoiminnallisuudella 14 voidaan ohjata suoraan vas- ** + ··!.: 30 taavaa käyttöliittymän GUI tehtäviä hoitavaa toiminnallisuutta * * ,···. 18, joka suorittaa vastaavan sovi tus toimenpiteen informaation 4 4 444 • e INFO orientoimiseksi laitteen 10 näytölle 20 määritetyn orien- • 4 , taation Odispiay mukaan.
4 4 4 4 4 • 4 n 117217
Kuvassa 2 esitetään vuokaaviona eräs esimerkki keksinnön mukaisesta menetelmästä. Informaation INFO orientointi laitteen 10 näyttöosalla 20 voidaan automatisoida laitteen 10 toiminta-proseduuriin. Toisaalta, se voi olla myös optionaalisesti ase-5 tettavissa oleva toiminto, jolloin sen aktivointi voidaan suorittaa sopivalla tavalla esimerkiksi laitteen 10 käyttöliittymästä GUI 18. Vielä edelleen aktivointi voidaan kytkeä myös jonkin laitteen 10 käyttöön liittyvän erityisen toimintavaiheen, kuten esimerkiksi videoneuvottelun tai multimediatoimin-10 tojen yhteydessä aktivoitavaksi.
Keksinnön mukaisen menetelmän ollessa aktiivisena laitteessa 10 (vaihe 200) siepataan joko jatkuvasti tai asetetuin väliajoin kamerasensorilla 11.1 digitaalinen kuva IMAGEx (vaihe 15 201). Koska kamerasensori 11.1 on edullisesti järjestetty jo edellä kuvatulla tavalla kohti laitteen 10 käyttäjää 21, on sen muodostamassa kuvainformaatiossa IMAGEx kuvakohteena esimerkiksi käyttäjän 21 pää 22. Tästä johtuen esimerkiksi käyttäjän 21 pää 22 voidaankin erään sovellusmuodon mukaan asettaa 20 kiinnekohdaksi näyttöosan 20 ja informaation INFO kulloistakin »*·*. orientaatiotilaa määritettäessä suhteessa käyttäjään 21. Näyt- **♦ toosan 2 0 ja sillä esitettävän informaation INFO orientaatiot < ·« *
Odispiay. Oinfo voidaan määritellä siis suhteessa käyttäjän 21 : pään 22 orientaatioon, joka pään 22 orientaatio puolestaan
Ml « !V. 25 saadaan määrittämällä asetetulla tavalla valitun piirteen 24 • * .*·*. orientaatio Oeyeiine suhteessa asetetulla tavalla määritellyn ·* * kuva in formaation IMAGEx orientaatioon Oimage· • 4 • · · * · ·
Seuraavaksi kuvainformaatiota IMAGE 1, IMAGE2 analysoidaan ku- * ·* ».!·: 30 vakohteesta 22 esimerkiksi yhden tai useamman valitun piirteen • · ,···. 24 löytämiseksi toiminnallisuutta 12 käyttäen (vaihe 202) .
• · • · · • e Piirre 24 voi olla esimerkiksi geometrinen. Analysointi voi- . daan suorittaa käyttäen esimerkiksi valittua yhtä tai useampaa • · · • * kasvonpiirreanalyysialgoritmia. Karkeasti ottaen kasvonpiirre- 12 117217 analyysi on eräs tapa, joissa esimerkiksi silmä-, nenä- ja suukohdat voidaan paikantaa kuvainformaatiosta IMAGEx.
Sovellusmuodoissa esitetyissä tapauksissa tämä valittu piirre 5 on käyttäjän 21 silmien 23.1, 23.2 muodostama silmälinja 24. Muita mahdollisia piirteitä voivat olla esimerkiksi käyttäjän 21 pään 22 muodostama geometrinen pyörähdyskuvio (esimerkiksi ellipsi), josta on myös melko selvästi tunnistettavissa valitun kiinnekohdan 22 orientaatio. Edelleen myös kasvoista löy-10 tyvät sierainaukot voidaan valita tunnistettavaksi piirteeksi, jolloin kyseessä on jälleen niiden määrittämä sierainaukkolin-ja tai suu tai jokin näiden piirteiden yhdistelmistä. Tapoja tunnistettavien piirteiden valitsemiseksi on siis lukuisia.
15 Eräs tapa kasvonpiirreanalyysin 12 toteuttamiseksi perustuu siihen, että näihin tiettyihin kasvonkohtiin muodostuu syviä laaksoja (ilmentyen muihin kasvon kohtiin nähden tummempina varjokohtina), jotka sitten voidaan tunnistaa luminanssiarvo-jen perusteella. Laaksojen sijainti voidaan siten havaita ku-20 vainformaatiosta IMAGEx ohjelmallisella suodatuksella. Epä-.···. lineaarista suodatusta voidaan myös käyttää laaksojen tunnis- 9 m ·1 · j·, tukseen kasvonpiirteiden määrityksen esiprosessointivaiheessa.
• 99 *
Eräitä esimerkkejä kasvonpiirreanalyysiin liittyen esitetään : .·, selitysosan lopussa viitteissä [1] ja [2] . Alan ammatt imi ehei- • · · 999 * :v. 25 le kasvonpiirreanalyysin toteuttaminen keksinnön mukaisen me- * 9 j·'·. netelmän yhteyteen on selkeä proseduraalinen toimenpide, eikä ·»· sitä sen vuoksi ole tarkemmin tässä yhteydessä tarpeen kuvata.
i t 9 9« * 9 1 • 99 9 :***; Kun valitut kasvonpiirteet 23.1, 23.2 on kuvainformaatiosta • 9» β#)β· 30 IMAGEx löydetty, niin seuraavaksi toiminnallisuutta 13 käyttä- * » ,··1. en määritetään niiden orientaatio Oeyeune suhteessa kuvainfor- • « • 9 1 • e maatioon IMAGEx (vaihe 203).
• 1 «9 · 9 · 9 9 · 35 on määritetty, voidaan siitä asetetulla tavalla päätellä myös 1 Kun piirteen 24 orientaatio Oeyeiine kuvainformaatiossa IMAGEx 13 117217 näyt toosan 20 orientaatio Odispiay suhteessa kiinnekohtaan eli valittuun kuvakohteeseen 22, joka on siis käyttäjän 21 pää 22. Luonnollisesti tämä riippuu valituista kiinnekohdista, niistä määritetyistä piirteistä ja niiden orientaatioista ja yleensä-5 kin valituista orientaatiosuunnista.
Näytöllä 20 esitettävälle informaatiolle INFO on asetettu ta-voiteorientaatio Oitgt suhteessa valittuun kiinnekohtaan 22 informaation INFO orientoimiseksi näytölle 20 tarkoituksenmukai-10 simmalla tavalla näytön 20 orientaation Odispiay mukaan. Tavoi-teorientaatio Oitgt voidaan kiinnittää näyttöosan 20 ja informaation INFO orientaatiota Odispiay/ Oinfo määrittävän kiinnekohdan 22 mukaan, jolloin tavoiteorientaatio Oitgt vastaa siis laitteen 10 käyttäjän 21 pään 22 orientaatiota suhteessa lait-15 teeseen 10.
Edelleen, kun näytön 20 orientaatio Odispiay suhteessa valittuun kiinnekohtaan 22 tunnetaan, niin tällöin voidaan myös päätellä näytöllä 20 esitettävän informaation INFO orientaatio Oinfo va- 20 littuun kiinnekohtaan 22 nähden. Tämä siksi, että laitteen 10 .···, näyttöä 20 ohjaavilla toiminnallisuuksilla 18, 19 on kulloin- « * ··« :·, kin tiedossa informaation INFO orientaatio Oinf0 laitteen 10 • ** näytöllä 20.
• « • · i · « Φ * · «·* » 25 Vaiheessa 204 suoritetaan vertailutoimenpide. Jos näyttöosalla ♦ » ;·**. 20 esitettävän informaation INFO orientaatio Oinfo suhteessa ·«· valittuun kiinnekohtaan 22 eroaa asetetulla tavalla sille ase- • ·"· tetusta tavoiteorientaatiosta Oitgt/ niin silloin näyttöosalla ai» « :***; 20 esitettävälle informaatiolle INFO suoritetaan orientaa- * ·* 30 tiomuutos ΔΟ. Seuraavaksi voidaan määrittää vaadittava orien- 4 * .···. taatiomuutos ΔΟ (vaihe 205) . Muutoksen seurauksena näyttöosal- • · • . la 20 esitettävän informaation INFO orientaatio Oinf0 saatetaan • * , vastaamaan sille asetettua tavoiteorientaatiota Oitgt suhteessa • · · * ' ' valittuun kiinnekohtaan 22 (vaihe 206).
35 14 117217
Jos informaation INFO orientaatiossa Oinfo ja informaation INFO tavoiteorientaatiossa Oitgt ei ole asetetun mukaista eroa, niin näytöllä 20 esitetyn informaation INFO orientaatio 0infO on tällöin tarkoituksenmukainen eli tässä tapauksessa se on käyt-5 täjän 21 silmälinjaan 24 nähden kohtisuorassa orientaatiossa. Toteamuksen jälkeen voidaan siirtyä mahdollisen viivevaiheen (207) (selostetaan tuonnempana) kautta takaisin vaiheeseen (201), jossa siepataan uusi kuvainformaatio IMAGEx käyttäjän 21 ja laitteen 10 näyttöosan 20 orientaatiosuhteen tutkimisek-io si. Asetetun mukainen ero informaation INFO orientaatiossa voidaan määrittää sellaiseksi, että esimerkiksi sellainen tilanne, jossa käyttäjän 21 silmälinja 24 ei olekaan aivan pään 22 pystyorientaatioon nähden kohtisuorassa (eli silmät ovat pään 22 poikkileikkaukseen nähden hieman eri tasoissa) ei vie- 15 lä aiheuta toimenpiteitä näyttöosalla 20 esitettävän informaation INFO uudelleen orientoimiseksi.
Seuraavaksi esitetään hyvin viitteellisellä tasolla C-pseudo- koodiesimerkki eräästä keksinnön mukaisessa menetelmässä käy- 20 tettävästä orientaatioalgorimista kuvien 3-4 sovel- .···, lusesimerkkeihin viitaten. Keksinnön mukaisessa järjestelmässä • ·
• •I
**. tällainen SW-toteutus voi olla esimerkiksi toiminnallisuudessa • ·· * 14, jolla hoidetaan automaattisesti näytön 20 orientaatio- • · : .·. asetustehtäviä. Sovellusesimerkissä käsitellään pelkästään *»* * ?V. 25 pysty- ja vaakaorientaatioita. Kuitenkin, alan ammattimiehelle • * -*··* koodin soveltaminen myös muihin orientaatioihin on ilmeistä ··· huomioiden tällöin myös näyttöosan 20 orientaatiosuunnat va- * littuun kiinnekohtaan 22 nähden (horizontal clockwise / hori- « « · 9 zontal anticlockwise & vertical normal / vertical up-down) .
··· 30 * * ,·*\ Aluksi koodissa voidaan tehdä joitain orientaatiokiinnitysva- • · • » · lintoja, jotka ovat tarpeen orientaatioiden hallitsemiseksi: * · »» · • « « · if (Oimage == vertical) -> Odispiay = vertical; 35 if (Oimage =" horizontal) -> Odispiay = horizontal; 15 117217
Kuviin 3a - 4b viitaten tällaisien määrittelyjen jälkeen, kun kameralla 11.1 siepataan kuvainformaatiota IMAGE1 ja kuvain-formaatio IMAGEl on pystyasennossa (portrait), on myös laite 5 10 tällöin pystyasennossa suhteessa valittuun kiinnekohtaan nähden eli tässä tapauksessa esimerkiksi käyttäjän 21 päähän 22. Vastaavasti, jos kuvainformaatio IMAGE2 on vaaka-asennossa (landscape), on asetettujen orientaatiokiinnitysmäärittelyjen perusteella myös laite 10 tällöin vaaka-asennossa (horizontal) ίο suhteessa valittuun kiinnekohtaan 22 nähden.
Seuraavaksi voidaan tehdä joitain alustusmäärittelyjä: set Oitgt/ Oinfo = vertical; 15 Tällaisien alustusmäärittelyjen jälkeen näytöllä 20 esitettävän informaation INFO tavoiteorientaatio Oitgt kiinnekohtaan 22 nähden on pystysuora, kuten myös informaation INFO orientaation Oinfo alkuasetus.
20 .···, Seuraavaksi kameravälineillä 11, 11.1 (i) siepataan kuvainfor- 9 9 ··1 ··. maatio IMAGEx, (ii) analysoidaan kuvainformaatiota IMAGEx va- • ♦♦ ♦ litun geometrisen piirteen 24 löytämiseksi ja (iii) sen orien- * » ! ·1· taation Oeyeline määrittämiseksi kuvainformaatiossa IMAGEx:
I · · J
«·· · 25 • 1 • 9 .···1 (i) capture_image (IMAGE) ; (ii) detect_eyepoints (IMAGE) ; ! (iii) detect_eyeline (IMAGE, eyepoints) ; *·· « ··· • # ♦ 1 30 Seuraavana vaiheena voidaan tutkia kameralla 11.1 siepatusta * 1 ,·1·. kuvainf ormaatio s ta IMAGEx (x = 1 - 3) määritetyn valitun geo- « ♦ * . metrisen piirteen 22 orientaatiota Oeyeiine suhteessa kuvainfor- .. . maation orientaatiomäärityksiin Oimage ja tämän perusteella * · i 35 orientaatiota Oinfo suhteessa valittuun kiinnekohtaan 22 nähden 1 kohdistaa näytöllä 20 esitettävälle informaatiolle INFO sen 16 117217 muuttavia toimenpiteitä. Kuvatun kaksivaiheisen sovellusmuodon valossa näytön 20 orientaatio Odispiay voi nyt siis olla joko pysty- tai vaakasuuntainen valittuun kiinnekohtaan eli käyttäjään 21 nähden. Sovellusmuodon ensimmäisessä vaiheessa voidaan 5 tutkia, että:
If ( (Oeyeline Oimage) && (Odispiay != Oinfo) ) { sst_orientation (Odispiay# Oinfo/ Oitgt) ΐ } 10
Toisin sanoen tämä vaihe tarkoittaa sitä, että koodin alkuvaiheessa tehtyjen alkumäärittelyjen johdosta ja kiinnekohdasta valitun geometrisen piirteen 24 orientaatioluonteen johdosta kyseessä on kuvassa 3a esitetty tilanne. Tässä laite 10 ja 15 tehdystä orientaatiomäärittelyistä johtuen myös sen näyttöosa 20 ovat pystyasennossa käyttäjään 21 nähden. Kun kameraväli-neillä 11, 11.1 siepataan pystyasennossa olevalla laitteella 10 käyttäjästä 21 kuva IMAGEl, niin (johtuen myös alkuasetuk-sissa tehdystä kuvan IMAGEl orientaatiomäärittelystä) kuvasta 20 IMAGEl löydetty käyttäjän 21 silmälinjan 24 orientaatio Oeyeiine .···. on kohtisuorassa kuvan IMAGEl orientaatioon Oimage nähden.
• · ♦ t · « Tässä tapauksessa jälkimmäinen ehtotarkastelu ei kuitenkaan : ,·, ole voimassa. Tämä siksi, koska kuvan IMAGEl orientaatioksi • · t ··* · :V. 25 Oimage tunnistetaan tehdystä orientaatioasettelusta johtuen .·**. vertical, jonka seurauksena jo alustusvaiheessa tehtiin sei- lainen määrittely, että tällöin myös Odispiay suhteessa kiinne- • ·*< kohtaan 22 on myös vertical. Näihin päätelmien yhteydessä vie- *** «
;***: lä kun huomioidaan se seikka, että myös informaation INFO
«*« 30 orientaatio 0infO alustettiin myös alkuvaiheessa olemaan suh- • · .···, teessä valittuun kiinnekohtaan 22 vertical, niin jälkimmäinen • * • e ehtotarkastelu ei ole voimassa ja informaatio INFO esitetään • * „ . näyttöosassa 20 jo oikeassa orientaatiossaan eli pystyasennos- • · · • * 35 * * sa valittuun kiinnekohtaan 22 nähden.
17 117217
Sen sijaan, kun tätä ehtotarkasteluvaihetta sovelletaan kuvassa 3d esitettyyn tilanteeseen, niin silloin myös jälkimmäinen ehtotarkastelu on voimassa. Kuvassa 3d on laite 10 saatettu kuvassa 3c esitetystä vaaka-asennosta (jossa informaation INFO 5 orientaatio Oinfo on ollut oikein käyttäjään 21 nähden) pystyasentoon käyttäjään 21 nähden. Tämän seurauksena näytöllä 20 esitetty informaation INFO orientaatio 0infO käyttäjään 21 nähden on edelleen vaakasuorassa eli poikkeaa tavoiteorientaati-osta Oitgt* Nyt on myös yllä olevan ehtotarkastelun jälkimmäi-10 nenkin ehto myös tosi, koska näytön 20 orientaatio OdiSpiay eroaa asetetulla tavalla informaation INFO orientaatiosta Oj.nfo* Tämän seurauksena suoritetaan informaation uudelleen orien-tointiproseduuri näytöllä 20 (set_orientation), jota ei kuitenkaan ole tarpeen tarkemmin kuvata, koska sen suorittaminen 15 on alan ammattimiehelle ilmeistä. Toimenpiteen seurauksena päästään kuvassa 3a esitettyyn tilanteeseen.
Proseduuriin kuuluu lisäksi myös toinen if-tarkasteluvaihe, joka voidaan muotoilla edellä tehtyjen alkuasetusvalintojen ja 20 kiinnityksien perusteella esimerkiksi seuraavasti: ** 9 • « • *·^ If ( (Oeyeline | | Oimage) && (Odisplay —— Oinfo) ) {
set_orientation(Odispiay/ 0infO# Oitgt) J
: } » · · • ·« · :\\ 25 • · • * ·***· Tällä voidaan käsitellä esimerkiksi kuvassa 3b esitetty tilan- ·* 4 ne. Tässä laite 10 ja samalla siis myös sen näyttö 20 käänne- : tään käyttäjän 21 suhteen kuvassa 3a esitetystä pystyasennosta * * * * vaakasuoraan asentoon (vertical -> horizontal). Tällaisen ·*· 30 orientaatiomuutoksen seurauksena näytöllä 20 esitettävä infor- • * .··*. maatio INFO on käyttäjään 21 nähden vaakasuorassa orientaati- * · * 9 * • . ossa eli nyt siis väärässä asennossa.
• · ·· · ® · · ® »
Nyt if-osiossa havaitaan, että kuvassa IMAGE2 olevan käyttäjän 35 21 silmälinjan 24 orientaatio Oeyeiine on samansuuntainen alku- 18 117217 asetuksissa määritetyn kuvaorientaation Oimage kanssa. Tästä voidaan päätellä (tehtyjen alkuasetuksien perusteella), että laitteen 10 näyttoosa 20 on vaakasuunnassa käyttäjään 21 nähden. Vielä if-osiossa tutkittaessa myös jälkimmäistä ehtoa ha-5 vaitaan, että näytön 20 suunta suhteessa kiinnekohtaan eli käyttäjään 21 on vaakasuuntainen ja yhdensuuntainen näytöllä 20 esitettävän informaation INFO kanssa. Tämä tarkoittaa sitä, että informaatio INFO ei ole tällöin sille asetetussa tavoi-teorientaatiossaan Ougt ja senpä takia informaatiolle INFO on-io kin suoritettava näytöllä 20 uudelleen orientointiproseduuri (set_orientation). Tätä ei kuitenkaan tarkemmin selosteta, koska sen suorittaminen on alan ammattimiehelle ilmeistä ja voidaan suorittaa lukuisin eri tavoin näytönohjaintoiminnalli-suudessa 19. Tässä tapauksessa lopputuloksena on kuvassa 3c 15 esitetty tilanne.
Edelleen orientaatiotarkasteluun voidaan erään sovellusmuodon mukaan tuoda myös tarkastelu muidenkin kuin vain suorakulmaisten orientaatiomuutoksien tarkastelu (portrait/landscape), mi-20 kali laitteen 10 näyttöosa 20 vain tukee tällaisia liukuvasti .···, muuttuvia orientaatioita. Kuvissa 4a ja 4b esitetään esimerkki • « ·· 9 tällaiseen sovellusmuotoon liittyvästä esimerkkitilanteesta.
• *·
Erään sovellusmuodon mukaan tämä voidaan esittää pseudokoodi- : ·*. tasolla esimerkiksi siten, että: *** · :v. 25 i · • » ;***: def ine_orientätion_degree (Oimage/ Oeyeiine) ; # * · : Tässä proseduurissa (sen tarkemmin sitä kuitenkaan kuvaamatta)
M· I
voidaan karkeasti ottaen määrittää esimerkiksi silmälinjan 24 3 0 kiertyneisyys a valitun kuvan IMAGE 3 orientaatioon Oin^ge .··*. (portrait / landscape) nähden. Tästä saadaan selville käyttä- * * · • . jän 21 positio laitteeseen 10 ja samalla myös siis näyttöön 20 • * .. . nähden. Vaadittava orientaatiomuutos voidaan suorittaa samalla • * · * · periaatteella kuin jo aikaisemmissakin vaiheissa mahdollisena 35 lisäparametrinä kuitenkin esimerkiksi kuvaorientaation Oimage 19 117217 ja geometrisen piirteen 24 orientaation Oeyenne välinen asteluku.
Vielä viimeisenä vaiheena voi proseduurissa olla viivejakso: 5 delay(2 seconds); jonka jälkeen voidaan palataan jälleen kuvansieppaus-kohtaan (capture_image).
10
Jos kuvainformaatiosta IMAGEx löydetään useampia kasvoja, niin tällöin voidaan määrittää niistä määritettyjen silmälinjojen 24 keskimääräinen orientaatio kuvassa IMAGEx, jonka mukaan informaatio INFO sitten näytölle 20 orientoidaan. Toinen mahdol-15 lisuus on orientoida informaatio INFO näytölle 20 esimerkiksi oletusorientaatioon.
On huomattava, että edellä oleva esimerkki laitteen 10 näytön 20 kulloisenkin orientaation O^ispiay tunnistamiseksi kuvainfor-20 maatiosta IMAGEx suhteessa asetettuun kiinnekohtaan 22 nähden .**·. on vain hyvin esimerkillinen. Alan ammattimiehelle ovat ilmei- siä erilaiset kuvainformaation analysointialgoritmit ja niistä • · · 9 määritettävien kohteiden orientaatioiden tunnistamiset ja ma- • * : nipuloinnit. Lisäksi esimerkiksi digitaalisessa kuvankäsitte- « S·-·. 25 lystä ei välttämättä ole edes tarvetta soveltaa kuvainformaa- • ;*’*j tion landscape/portrait orientointitapaa, vaan sensorilla 11.1 tuotettu kuvainformaatio IMAGEx voi olla joka suunnassa yhtä • ;*; "leveä". Tällöin yksi kuvasensorin 11.1 sivuista voidaan väli- ta referenssisivuksi, jonka suhteen näyttöosan 20 ja valitun • ** 30 piirteen 24 orientaatioita määritetään.
« 4 ··« • 9 9 9 999 • . Yleensäkin riittävää on määrittää näytön 20 orientaatio Odispiay * · .. , suhteessa näytöllä 20 esitettävään informaatioon INFO. Jos • · · • 9 näytön 20 orientaatio OdiSpiay saadaan määritettyä ja tiedetään 35 näytöllä 20 esitettävän informaation INFO kulloinenkin orien- 20 117217 taatio Oinfo näytön 2 0 suhteen, niin tämän seurauksena voidaan päätellä informaation INFO orientaatio 0infO suhteessa sille asetettuun tavoiteorientaatioon Oitgt. Näin ollen menetelmää voidaan soveltaa myös siten, että olisi tarvetta käyttää edel-5 lä esitettyä kiinnekohta-ajattelutapaa.
Tästä johtuen alan ammattimiehelle ovat ilmeisiä myös kehittyneemmät ratkaisut valitun piirteen orientaation määrittämiseksi kamerasensorilla tuotetusta kuvainformaatiosta IMAGEx, 10 jolloin ne voidaan perustaa esimerkiksi sensorimatriisin 11.1 koordinaateista muodostettuun orientaation tunnistamiseen.
Kuten jo aiemmin mainittiin, niin jatkuvan laitteen 10 näyttö-osan 20 orientaatio tunnistuksen sijasta orientaation tunnis-15 tusta voidaan suorittaa myös asetetulla tavalla jaksollisesta. Erään sovellusmuodon mukaan orientaation tunnistusta voidaan suorittaa 1-5 sekunnin välein, esimerkiksi 2-4 sekunnin välein, edullisesti 2-3 sekunnin välein. Jaksollisuus voidaan sovittaa myös useisiin eri toiminnallisuuksiin. Erään en-20 simmäisen sovellusmuodon mukaan se voi olla prosessorin kello-.···. taajuuteen sidottua tai toisen sovellusmuodon mukaan multime- « I »· · diaclipin katseluun tai videoneuvottelutoiminnallisuuteen si- • 44 dottua.
• « • * • * * • 4 · 44« 4 25 Tällaisella viipeellisesti suoritettavalla orientaation tun- • 4 ·“’*· nistuksella ei juurikaan aiheuteta merkittävää haittaa lait- teen 10 käytettävyydelle. Sen sijaan tällaisella jaksollisella • tunnistuksella saavutetaan etua esimerkiksi pienempänä virran-*·* * :***: kulutuksena jatkuvaan tunnistukseen verrattuna.
30 • 4 .···. On ymmärrettävä, että edellä oleva selitys ja siihen liittyvät 4 4 • 44 ' , kuvat on tarkoitettu ainoastaan havainnollistamaan esillä ole- 4 4 .. . vaa keksintöä. Keksintöä ei siten ole rajattu pelkästään edel- 4 4 4 • 4 lä esitettyihin tai patenttivaatimuksissa määriteltyihin so-35 vellusmuotoihin, vaan alan ammattimiehelle tulevat olemaan il- 21 117217 meisiä monet erilaiset keksinnön variaatiota ja muunnokset, jotka ovat mahdollisia oheisten patenttivaatimusten määrittelemän keksinnöllisen ajatuksen puitteissa.
5 REFERENCES: [1] Ru-Shang Wang and Yao Wang, "Facial Feature Extraction and Tracking in Video Sequences", IEEE Signal Processing Society 1997 Workshop on Multimedia Signal Processing, June 23 - 25, 10 1997, Princeton New Jersey, USA Electronic Proceedings, pp.
233 - 238.
[2] Richard Fateman, Paul Debevec, "A Neural Network for Facial Feature Location", CS283 Course Project, UC Berkeley, USA.
m m · ft · • ♦ • ft ft • ft • ft • ft · • ft « • · ft · · ft · » « ·· · ft ft ft ft 1 2 # • ft ft ft • ft· • · • · • ft » • · ft · · • · « • ft· · ft · ft · ft ft ft·· • • · • ft· • « • · ··« ft ft ft 2 · • · · • · • ·

Claims (10)

  1. 22 1 1 721 7
  2. 1. Menetelmä näytöllä (20) käyttäjälle (21) esitettävän informaation (INFO) orientaation (Oinfo) hallitsemiseksi, jossa in-5 formaatiolla (INFO) on tavoiteorientaatio (Oitgt) ja jossa menetelmässä - määritetään näytön (20) orientaatio (OdisPiay) suhteessa näytöllä (20) esitettävään informaatioon (INFO) muodostamalla toiminnallisesti näytön (20) 10 yhteyteen kuuluvilla kameravälineillä (11) kuvain- formaatiota (IMAGEx), jota analysoidaan yhden tai useamman valitun piirteen (24) löytämiseksi ja sen orientaation (Oeyeiine) määrittämiseksi kuvainformaa-tiossa (IMAGEx) (200 - 203) ja 15. jos näytöllä (20) esitettävän informaation (INFO) orientaatio (Oinf0) eroaa tavoiteorientaatiosta (Oitgt) r toteutetaan orientaatiomuutos (ΔΟ) , jonka muutoksen seurauksena näytöllä (20) esitettävän informaation (INFO) orientaatio (0infO) saatetaan 20 vastaamaan tavoiteorientaatiota (Oitgt) (204 - 206), ;***. tunnettu siitä, että näytön (20) orientaation (Odispiay) määri- tystä suoritetaan ei-jatkuvalla tavalla jaksollisesti (207) . • * • **: 2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, * ....... " ' 25 että kuvainformaation (IMAGEx) kuvakohteeksi valitaan käyttä- * * jän (21) pää (22).
  3. 3. Patenttivaatimuksen 2 mukainen menetelmä, tunnettu siitä, että valittu piirre käsittää esimerkiksi käyttäjän (21) kas- ·...: 30 vonpiirteitä (23.1, 23.2, 24), joita analysoidaan kasvonpiir- .***. reanalyysia (12) käyttäen valitun yhden tai useamman kasvon- ··· *. piirteen löytämiseksi. • * * · * * *
  4. 4. Patenttivaatimuksen 3 mukainen menetelmä, tunnettu siitä, 35 että, kasvonosa on esimerkiksi käyttäjän (21) silmäkohdat 23 1 1 7 21 7 (23.1, 23.2), jolloin valittu piirre on esimerkiksi silmäkoh-tien (23.1, 23.2) määrittämä silmälinja (24).
  5. 5. Jonkin patenttivaatimuksen 1-4 mukainen menetelmä, tun-5 nettu siitä, että orientaation määritystä suoritetaan 1-5 sekunnin välein, esimerkiksi 2-4 sekunnin välein, edullisesti 2 - 3 sekunnin välein.
  6. 6. Järjestelmä näytöllä (20) käyttäjälle (21) esitettävän in- io formaation (INFO) orientaation (Oinfo) (orientation) hallitse miseksi laitteessa (10), jossa järjestelmään kuuluu - laitteen (10) yhteyteen sovitettu näyttö (20) informaation (INFO) esittämiseksi ja - välineet (11, 11.1) näytön (20) orientaation (OdiS- 15 play) ja orientaatiomuutoksen (ÄOdispiay) määrittämiseksi, välineiden muodostuessa toiminnallisesti laitteen (10) yhteyteen sovitetuista kameraväli-neistä (11, 11.1) kuvainformaation {IMAGEx) muo dostamiseksi, josta kuvainformaatiosta (IMAGEx) on 20 sovitettu määritettäväksi näytön (20) orientaatio (Odispiay) / jonka perusteella näytöllä (20) esitettä- ·*# vän informaation (INFO) orientaatio (Oinfo) on sovi- • ·:*·; tettu muutettavaksi sille asetettuun tavoiteorien- : taatioon (Oitgt) , 25 tunnettu siitä, että näytön (20) orientaation (Odispiay) määri-tystä on sovitettu suoritettavaksi ei-jatkuvalla tavalla jak-sollisesti. • ♦ • * » ♦ · · ·· · · * · *
  7. 7. Patenttivaatimuksen 6 mukainen järjestelmä, tunnettu siitä, 30 että, kuvainformaation (IMAGEx) kuvakohteeksi on valittu lait- :***: teen (10) käyttäjä (21), jolloin järjestelmään kuuluu kasvon- * * · piirreanalyysitoiminnal 1 isuus (12) valitun yhden tai useamman • ♦ :\\ käyttäjän (21) kasvonosan (23.1, 23.2) löytämiseksi kuvainfor- • ♦ • · maatiosta (IMAGEx), joiden määrittämästä piirteestä (24) suh- 24 1 1 721 7 teessä kuvainformaatioon (IMAGEx) näytön orientaatio (Odispiay) on sovitettu määritettäväksi.
  8. 8. Kannettava laite (10), jonka yhteyteen on sovitettu 5. näyttö (20) informaation (INFO) esittämiseksi, - toiminnallisesti laitteen (10) yhteyteen sovitetut kameravälineet (11, 11.1) näytön (20) orientaation (Odispiay) j a orientaatiomuutoksen (AOdispiay) määrittämiseksi, joilla kameravälineillä (11, 11.1) muodoste- 10 tusta kuvainformaatiosta (IMAGEx) näytön (20) orien- taatiomuutos (AOdiSpiay) on sovitettu määritettäväksi ja joiden kameravälineiden (11, 11.1) lisäksi lait teeseen (10) kuuluu myös - välineet (12, 13) kuvainformaation (IMAGEx) analy- 15 soimiseksi yhdellä tai useammalla algoritmilla näytön (20) orientaatiomuutoksen (AOdiSpiay) tunnistamiseksi ja sen suuruuden määrittämiseksi ja - välineet (14) näytöllä (20) esitettävän informaation (INFO) orientaation (0infO) muuttamiseksi sille 20 asetettuun tavoiteorientaatioon (0itgt) perustuen ku- .·*·. vainformaatiosta (IMAGEx) määritettyyn muutokseen • \e näytön (20) orientaatiossa (Odispiay)# • ·;··· tunnettu siitä, että näytön (20) orientaation (Odispiay) määri- ; tystä on sovitettu suoritettavaksi ei-jatkuvalla tavalla jak- • *# 25 sollisesti. * 9 »·» • · • · • •I
  9. 9. Ohjelmalliset välineet patenttivaatimuksen 1 mukaisen mene- * * : telmän toteuttamiseksi, jossa näytön (20) yhteyteen on sovi- tettu 30. välineet (11, 11.1) näytön (20) orientaation (OdiS- ·"*; play) ja orientaatiomuutoksen (AOdispiay) määrittämi- *·· ββ*β· seksi, jotka välineet on muodostettu toiminnalli- • * ;·.*β sesti näytön (20) yhteyteen sovitetuista kameravä- • lineistä (11, 11.1) kuvainformaation (IMAGEx) muo-3 5 dostamiseksi, 25 1 1 721 7 - ohjelmalliset välineet (12, 13) kuvainformaation (IMAGEx) analysoimiseksi valitulla yhdellä tai useammalla algoritmilla näytön (20) orientaa- tiomuutoksen (AOdispiay) tunnistamiseksi ja sen suu- 5 ruuden määrittämiseksi ja - ohjelmalliset välineet (14) näytöllä (2 0) esitet tävän informaation (INFO) orientaation (Oinfo) muuttamiseksi sille asetettuun tavoiteorientaatioon (Oitgt) perustuen kuvainformaatiosta (IMAGEx) määri- 10 tettyyn muutokseen näytön (20) orientaatiossa (AOdisplay) t tunnettu siitä, että näytön (20) orientaation (Odispiay) määritystä on sovitettu suoritettavaksi ohjelmallisilla välineillä ei-jatkuvalla tavalla jaksollisesta. 15
  10. 10. Patenttivaatimuksen 9 mukaiset ohjelmalliset välineet, tunnettu siitä, että orientaation määrityksessä on sovitettu käytettäväksi kasvonpairreanalyysia (12). • * ♦ · «· • · • «· • # • · • · · • · · ·«« « *· · « · · • · ··· » · • · • « * • · • · · • · * ·· i · ·«· • * • « ««« « • · ··· • · • * • M * « « · « · ♦ • · • · 26 1 1 721 7
FI20035170A 2003-10-01 2003-10-01 Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi FI117217B (fi)

Priority Applications (8)

Application Number Priority Date Filing Date Title
FI20035170A FI117217B (fi) 2003-10-01 2003-10-01 Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi
EP04767155A EP1687709A2 (en) 2003-10-01 2004-09-23 Method and system for controlling a user interface, a corresponding device, and software devices for implementing the method
KR1020067006378A KR20060057639A (ko) 2003-10-01 2004-09-23 사용자인터페이스를 제어하기 위한 방법 및 장치, 대응기기, 및 방법을 구현하기 위한 소프트웨어 기기들
JP2006530322A JP2007534043A (ja) 2003-10-01 2004-09-23 ユーザインターフェイスを制御するための方法、システム、およびその方法を実施するための対応するデバイス、ソフトウェアデバイス
US10/569,214 US20060265442A1 (en) 2003-10-01 2004-09-23 Method and system for controlling a user interface a corresponding device and software devices for implementing the method
CN2004800285937A CN1860433B (zh) 2003-10-01 2004-09-23 用于控制用户接口的方法和***、相应设备、以及用于实现该方法的软件设备
PCT/FI2004/050135 WO2005031492A2 (en) 2003-10-01 2004-09-23 Method and system for controlling a user interface, a corresponding device, and software devices for implementing the method
JP2009242494A JP2010016907A (ja) 2003-10-01 2009-10-21 ユーザインターフェイスを制御するための方法、システム、およびその方法を実施するための対応するデバイス、ソフトウェアデバイス

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FI20035170A FI117217B (fi) 2003-10-01 2003-10-01 Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi
FI20035170 2003-10-01

Publications (3)

Publication Number Publication Date
FI20035170A0 FI20035170A0 (fi) 2003-10-01
FI20035170A FI20035170A (fi) 2005-04-02
FI117217B true FI117217B (fi) 2006-07-31

Family

ID=29226024

Family Applications (1)

Application Number Title Priority Date Filing Date
FI20035170A FI117217B (fi) 2003-10-01 2003-10-01 Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi

Country Status (7)

Country Link
US (1) US20060265442A1 (fi)
EP (1) EP1687709A2 (fi)
JP (2) JP2007534043A (fi)
KR (1) KR20060057639A (fi)
CN (1) CN1860433B (fi)
FI (1) FI117217B (fi)
WO (1) WO2005031492A2 (fi)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101506760A (zh) * 2005-05-27 2009-08-12 夏普株式会社 显示装置
US20110298829A1 (en) * 2010-06-04 2011-12-08 Sony Computer Entertainment Inc. Selecting View Orientation in Portable Device via Image Analysis
US20080266326A1 (en) * 2007-04-25 2008-10-30 Ati Technologies Ulc Automatic image reorientation
JP5453717B2 (ja) * 2008-01-10 2014-03-26 株式会社ニコン 情報表示装置
JP2009171259A (ja) * 2008-01-16 2009-07-30 Nec Corp 顔認証による画面切替装置、方法、プログラム及び携帯電話機
JP5253066B2 (ja) * 2008-09-24 2013-07-31 キヤノン株式会社 位置姿勢計測装置及び方法
CN102939557B (zh) * 2010-05-29 2014-07-30 蒋文宇 用于制造和使用具有通过凝视距离和低功率视线跟踪驱动的自适应透镜的眼镜的***、方法和设备
WO2012030265A1 (en) * 2010-08-30 2012-03-08 Telefonaktiebolaget L M Ericsson (Publ) Face screen orientation and related devices and methods
US8957847B1 (en) 2010-12-28 2015-02-17 Amazon Technologies, Inc. Low distraction interfaces
CN102934157B (zh) * 2011-03-04 2016-02-03 松下电器产业株式会社 显示装置及显示方向切换方法
US8843346B2 (en) 2011-05-13 2014-09-23 Amazon Technologies, Inc. Using spatial information with device interaction
WO2013069796A1 (ja) * 2011-11-10 2013-05-16 株式会社ニコン 電子機器、情報システム及びサーバ
KR101366861B1 (ko) * 2012-01-12 2014-02-24 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US10890965B2 (en) 2012-08-15 2021-01-12 Ebay Inc. Display orientation adjustment using facial landmark information
WO2014113951A1 (zh) * 2013-01-24 2014-07-31 华为终端有限公司 屏幕显示模式确定方法及终端设备
CN103795922A (zh) * 2014-01-24 2014-05-14 厦门美图网科技有限公司 一种移动终端的摄像头智能校正方法
US10932103B1 (en) * 2014-03-21 2021-02-23 Amazon Technologies, Inc. Determining position of a user relative to a tote
CN106295287B (zh) * 2015-06-10 2019-04-09 阿里巴巴集团控股有限公司 活体检测方法和装置以及身份认证方法和装置
CN109451243A (zh) * 2018-12-17 2019-03-08 广州天越电子科技有限公司 一种基于移动智能终端实现360°环拍的方法
CN118298441A (zh) * 2023-12-26 2024-07-05 苏州镁伽科技有限公司 图像匹配方法、装置、电子设备及存储介质

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ055999A0 (en) * 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (npage01)
JPS60167069A (ja) * 1984-02-09 1985-08-30 Omron Tateisi Electronics Co 図形認識装置
US6728404B1 (en) * 1991-09-12 2004-04-27 Fuji Photo Film Co., Ltd. Method for recognizing object images and learning method for neural networks
JP3227218B2 (ja) * 1992-09-11 2001-11-12 キヤノン株式会社 情報処理装置
JPH08336069A (ja) * 1995-04-13 1996-12-17 Eastman Kodak Co 電子スチルカメラ
US5923781A (en) * 1995-12-22 1999-07-13 Lucent Technologies Inc. Segment detection system and method
US6804726B1 (en) * 1996-05-22 2004-10-12 Geovector Corporation Method and apparatus for controlling electrical devices in response to sensed conditions
US6137468A (en) * 1996-10-15 2000-10-24 International Business Machines Corporation Method and apparatus for altering a display in response to changes in attitude relative to a plane
EP1115250B1 (en) * 1998-07-31 2012-06-06 Panasonic Corporation Method and apparatus for displaying image
JP3985373B2 (ja) * 1998-11-26 2007-10-03 日本ビクター株式会社 顔画像認識装置
US6539100B1 (en) * 1999-01-27 2003-03-25 International Business Machines Corporation Method and apparatus for associating pupils with subjects
US7037258B2 (en) * 1999-09-24 2006-05-02 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
US6851851B2 (en) * 1999-10-06 2005-02-08 Hologic, Inc. Digital flat panel x-ray receptor positioning in diagnostic radiology
JP3269814B2 (ja) * 1999-12-03 2002-04-02 株式会社ナムコ 画像生成システム及び情報記憶媒体
GB0011455D0 (en) * 2000-05-13 2000-06-28 Mathengine Plc Browser system and method for using it
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
WO2002093879A1 (de) * 2001-05-14 2002-11-21 Siemens Aktiengesellschaft Mobilfunkgerät
US7423666B2 (en) * 2001-05-25 2008-09-09 Minolta Co., Ltd. Image pickup system employing a three-dimensional reference object
US7079707B2 (en) * 2001-07-20 2006-07-18 Hewlett-Packard Development Company, L.P. System and method for horizon correction within images
US7113618B2 (en) * 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
US6959099B2 (en) * 2001-12-06 2005-10-25 Koninklijke Philips Electronics N.V. Method and apparatus for automatic face blurring
JP3864776B2 (ja) * 2001-12-14 2007-01-10 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置
JP2003244786A (ja) * 2002-02-15 2003-08-29 Fujitsu Ltd 電子機器
EP1345422A1 (en) * 2002-03-14 2003-09-17 Creo IL. Ltd. A device and a method for determining the orientation of an image capture apparatus
US7002551B2 (en) * 2002-09-25 2006-02-21 Hrl Laboratories, Llc Optical see-through augmented reality modified-scale display
US6845914B2 (en) * 2003-03-06 2005-01-25 Sick Auto Ident, Inc. Method and system for verifying transitions between contrasting elements
US20040201595A1 (en) * 2003-04-11 2004-10-14 Microsoft Corporation Self-orienting display
US6968973B2 (en) * 2003-05-31 2005-11-29 Microsoft Corporation System and process for viewing and navigating through an interactive video tour
US7269292B2 (en) * 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US7716585B2 (en) * 2003-08-28 2010-05-11 Microsoft Corporation Multi-dimensional graphical display of discovered wireless devices
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法

Also Published As

Publication number Publication date
JP2010016907A (ja) 2010-01-21
US20060265442A1 (en) 2006-11-23
KR20060057639A (ko) 2006-05-26
CN1860433B (zh) 2010-04-28
FI20035170A (fi) 2005-04-02
FI20035170A0 (fi) 2003-10-01
WO2005031492A3 (en) 2005-07-14
EP1687709A2 (en) 2006-08-09
CN1860433A (zh) 2006-11-08
WO2005031492A2 (en) 2005-04-07
JP2007534043A (ja) 2007-11-22

Similar Documents

Publication Publication Date Title
FI117217B (fi) Menetelmä ja järjestelmä käyttöliittymän (User Interface) hallitsemiseksi, vastaava laite ja ohjelmalliset (Software) välineet menetelmän toteuttamiseksi
US10136069B2 (en) Apparatus and method for positioning image area using image sensor location
EP2393042A1 (en) Selecting view orientation in portable device via image analysis
JP5498573B2 (ja) ディスプレイを含む携帯電子機器、及び該機器の制御方法
US10082863B2 (en) Gaze-based automatic scrolling
CN104137028B (zh) 控制被显示图像的旋转的设备和方法
US6977675B2 (en) Method and apparatus for virtually expanding a display
US20060001647A1 (en) Hand-held display device and method of controlling displayed content
US20090297062A1 (en) Mobile device with wide-angle optics and a radiation sensor
EP1578090A1 (en) A mobile device with wide-angle optics and a radiation sensor
US20140184854A1 (en) Front camera face detection for rear camera zoom function
KR102568708B1 (ko) 가상 현실 헤드셋에서 손 동작들을 인식하기 위한 방법 및 장치
US9412190B2 (en) Image display system, image display apparatus, image display method, and non-transitory storage medium encoded with computer readable program
US20140160019A1 (en) Methods for enhancing user interaction with mobile devices
CN107831904A (zh) 电子设备及其操作方法
WO2007065042A3 (en) Method and device for determining a location and orientation of a device in a vehicle
US20120105589A1 (en) Real time three-dimensional menu/icon shading
EP2131266A3 (en) Display processing device, display processing method, display processing program, and mobile terminal device
JP2002351603A (ja) 携帯情報処理装置
US20200412953A1 (en) Electing camera modes for electronic devices having multiple display panels
JP6201282B2 (ja) 携帯電子機器、その制御方法及びプログラム
KR101499397B1 (ko) 동영상 분석기능을 갖는 모바일 단말기
WO2021192905A1 (ja) ガイド方法
CN105786337B (zh) 一种信息处理方法及电子设备
TWI507972B (zh) 顯示裝置操作介面及方法

Legal Events

Date Code Title Description
FG Patent granted

Ref document number: 117217

Country of ref document: FI