NO311740B1 - Tegne-, skrive- og peke-redskap for datamaskinbaserte presentasjoner og kontorarbeid - Google Patents

Description

Oppfinnelsen angår et naturlig, ergonomisk redskap for å skrive med egen håndskrift, for å tegne nøyaktig og for å peke på et data/video-prosjektørlerret, på en dataskjerm eller flatskjerm, eller på en virtuell skjerm, slik at en datamaskin nøyaktig kan motta, lagre, gjengi og bearbeide slik håndskrift, slike tegninger og utføre kommandoer og operasjoner i henhold til slike pekebevegelser.

Oppfinnelsen vedrører således en tegne-, skrive- og pekeanordning for datapresentasjoner, datastøttet kontorarbeid og/eller annen interaktiv bruk av datamaskin.

Oppfinnelsen vedrører også et kamera- og gjenkjennelsessystem for samvirke med tegfie-, skrive- og pekeanordning for datapresentasjoner, datastøttet kontorarbeid og annen interaktiv bruk av datamaskin.

Oppfinnelsen vedrører videre et system for tegning, skriving og peking egnet for datapresentasjoner, datastøttet kontorarbeid og annen interaktiv bruk av datamaskin omfattende et tegne- og/eller skrive- og/eller pekeredskap, et kamera- og gjenkjennelsessystem samt et datasystem med en fremviserenhet omfattende en prosjektørskjerm, en dataskjerm, en flatskjerm eller en virtuell skjerm.

Det finnes i dag flere kjente teknikker for å gi og tilføre datasystemer informasjon eller kontrollsignaler via grafiske grensesnitt. En vanlig datamus, en såkalt "joystick" eller "trackball" benyttes til å gi input til datamaskiner. Ved bruk av disse må imidlertid som oftest brukeren bevege redskapen på et bord eller lignende samtidig som han må observere resultatet på en dataskjerm eller presentasjon et annet sted. Brukeren må ofte flytte oppmerksomheten fra styreredskapen og dens plassering og til presentasjons-stedet. Dette kan føre til at brukeren ikke finner en god og naturlig plassering. Datamusen er kanskje heller ikke det ideelle verktøy for å skrive håndskrift eller tegning av grafikk, bilder eller figurer. US 5,805,143 viser en datamus med en tilpasningsenhet formet som en penn slik at det tillater brukeren en mer kreativ og fri bevegelse til å tegne, male og designe lettere enn med en standard datamus.

Flere anordninger er kjent der bevegelsen av penn-lignende anordninger følges av et kamera- eller sensorsystem for å gi input til et datasystem. Eksempler på slike er gitt i US 5,297,061, US 5,227,622, US 5,945,981. Ved alle disse må brukeren bevege styre/kontroll-redskapen ett sted samtidig som han må observere resultatet på en dataskjerm eller presentasjon et helt annet sted. Dette kan muligens være gunstige løsninger ved arbeid på for eksempel en skrivepult, men kan være ugunstig for eksempel ved overheadpresenta-sjoner, idet brukeren lett kan miste noe av friheten i sine bevegelser og kan bli for mye stående eller sittende ved datamaskinen eller ved overheadprosjektøren.

Videre er det kjent å benytte berøringsfølsomme skjermer der brukeren ved å berøre en dataskjerm kan gi input til et datasystem. En slik teknikk krever instrumentering av selve skjermen med et antall sensorer, og slike systemer er derfor ikke så mobile og fleksible. De har ofte en relativt begrenset oppløsning, og systmemet kan være vedlikeholds-krevende. En videre ulempe ved en slik teknikk er at berøringen av selve skjermen kan gi en gradvis forringelse av billedkvaliteten pga. avsetninger av fett og støv samt gradvise skader på overflaten .

En annen kjent teknikk som trolig ligger nærmest den foreliggende oppfinnelse er vist i WO 0023938 der det benyttes et kamerasystem som er koblet til en datamaskin og som er rettet mot i det minste en del av et bilde presentert av en prosjektør, dataskjerm eller lignende. Kameraet kan oppfatte i det minste én lysstråle fra en sender som er rettet mot det presenterte bildet og danner et signal som er karakteristisk for posisjonen og/eller bevegelsesbanen eller bevegelseshastigheten og -retningen til det stedet der lysstrålen treffer overflaten der bildet presenteres. Lysstrålen fra senderen kan forsynes med kjennetegn som er karakteristisk for senderen. Lysstrålen kan for eksempel være frekvens-, amplitude-, eller fasemodulert. Som pekeredskap kan denne løsningen være godt egnet, men den er ikke like godt egnet som skrive- eller tegneredskap idet det ikke alltid er lett å få til naturlig skrive- eller tegnebevegelse av strålens posisjon.

Det er et således formål med oppfinnelsen å frembringe et redskap som kan benyttes som tegne-, skrive- såvel som pekeredskap ved datapresentasjoner, datastøttet arbeid eller annen interaktiv bruk av datamaskin og som i utseende og form gjør at en vilkårlig bruker naturlig, intuitivt og ergonomisk kan bruke det.

Det er videre et formål med oppfinnelsen å frembringe

et tegne-, skrive- og pekeredskap med et tilhørende kamera-og gjenkjennelsessystem for samvirke med tegne-, skrive- og pekeanordningen for datapresentasjoner, datastøttet kontorarbeid og annen interaktiv bruk av datamaskin.

Det er et ytterligere formål med oppfinnelsen å frembringe et system for tegning, skriving og peking egnet for datapresentasjoner, datastøttet kontorarbeid og annen interaktiv bruk av datamaskin omfattende et tegne-, skrive-og pekeredskap, et kamera- og gjenkjennelsessystem samt et datasystem med en fremviserenhet omfattende en prosjektør-skjerm, en dataskjerm, en flatskjerm eller en virtuell skjerm der brukeren med stor nøyaktighet og på en billig og enkel måte kan tegne, viske ut, skrive og peke på en virtuell tavle oppdatert av en datamaskin.

Det er enda et formål med oppfinnelsen å frembringe en måte å gjøre presentasjoner ved konferanser, seminarer, forelesninger o.l. mer fleksible ved å muliggjøre peking, frihåndstegning og skriving ved presentasjonene med samme verktøy.

Tegne-, skrive- og pekeanordningen i følge den foreliggende oppfinnelsen er kjennetegnet ved at anordningens spiss omfatter ett eller flere kodemønstre som kan detekteres av et kamera- og gjenkjennelsessystem.

Foretrukne utførelsesformer av anordningen fremgår av de uselvstendige kravene 2-11.

Kamera- og gjenkjennelsessysternet for samvirke med tegne-, skrive- og pekeanordningen er i henhold til oppfinnelsen er karakterisert ved at kameraet opptar ett eller flere bilder hvorav i det minste ett bilde inneholder ett eller flere kodemønstre fra en eller flere tegne-, skrive- og pekeanordninger.

Foretrukne utførelsesformer av kamera- og gjenkjennelsessystemet fremgår av de uselvstendige kravene 13-17.

Systemet for tegning, skriving og peking egnet for datapresentasjoner, datastøttet kontorarbeid og annen interaktiv bruk av datamaskin er karakterisert ved at tegne-, skrive- og pekeanordningen omfatter ett eller flere kodemønstre som kan detekteres av kamera- og gjenkjennelsessystemet og at kameraet opptar ett eller flere bilder hvorav i det minste ett bilde inneholder ett eller flere kodemønstre fra en eller flere tegne-, skrive- og pekeanordninger.

Oppfinnelsen skal i det etterfølgende forklares nærmere under henvisning til de medfølgende illustrasjoner, hvor

Fig. 1 illustrerer en tegne-, skrive- og pekeanordning med

ulike kodemønstre.

Fig. 2 illustrerer en tegne-, skrive- og pekeanordning med en spisset, konisk, mangefassetert eller trekantet utformet spiss.

Fig. 3A-D Illustrerer skjematisk kodemønstre.

Fig. 4A Viser et eksempel på et billedopptak fra kamerasystemet som viser en tegne-, skrive- og pekeredskap. Fig. 4B-G Viser digitalt filtrerte versjoner av bildet i

Figur 4A med forskjellige terskelverdier.

Tegne-, skrive og pekeredskapet l er i utseende og form som en blyant, tusj eller tavlekritt og dette gjør at en vilkårlig bruker kan naturlig, intuitivt og ergonomisk bruke det.

Oppfinnelsen kjennetegnes ved at den er utstyrt med et eller flere kodemønstre 3 på sin spiss 2, og ved bruk vil ett av kodemønstrene 3 "aktiviseres" av brukeren, hvoretter koden gjenkjennes vha. et kamerasystem, og spissens 2 posisjon bestemmes. Kamera med gjenkjennelsessystem kan bygges inn i dataprosjektører med kameraet rettet mot prosjektørskjermen, og kan gi posisjonsbestemmende signaler til en datamaskin. I vår prototyp har vi valgt å generere posisjonsbestemmende signaler tilsvarende det som avgis fra en datamus, og dermed kan alle dataprogrammer som anvender datamus, anvende dette tegen- ,skrive- og pekeredskapet.

Oppfinnelsen gjør det mulig med stor nøyaktighet og på en billig og enkel måte å tegne, viske ut, skrive og peke på en virtuell tavle oppdatert av en datamaskin.

Utformingen av oppfinnelsen, med kodemønsteret 3 på en spiss 2 som enten er konisk, er mangefasettet eller er en trekantet flate, sikrer at redskapet 1 tillates å danne ulike horisontalvinkler, som er typisk gjennom naturlige tegne-, skrive- og pekebevegelser, samtidig som alltid en horisontal-linje i kamera/gjenkjennelsessysternet vil skjære gjennom mønsteret 3 slik at dette kan detekteres selv om tegne-, skrive- og pekeredskapens vinkel med horisontalplanet varierer.

Datapresentasjoner (med PowerPoint etc.) anvendes stadig mer ved konferanser, seminarer og forelesninger og ved utvikling, produksjon og salg av dataprosjektører er også viktig i vårt eget land. Oppfinnelsen representerer en måte å gjøre slike presentasjoner mer fleksible siden peking, frihåndstegning og skriving kan gjøres med samme verktøy.

Oppfinnelsen representerer lav kostnad siden selve tegne-, skrive- og pekeredskapet 1 kan fremstilles meget rimelig. Oppfinnelsens kamera/gjenkjennelsessystem kan bygges på enbrikke CMOS kamerateknologi fra Photobit, Kodak etc. som gir svært rimelige løsninger. Oppfinnelsens kamera- og gjenkjennelsessystem kan tenkes inngå i neste generasjons dataprosjektører, som dermed vil få betydelig flere bruksmuligheter.

Oppfinnelsen er prinsippet om en gjenstand (Figur 1) med et utseende og form som minner om en blyant, en tusj, eller et tavlekritt, men med visse tilleggsegenskaper (trekantet, konisk eller mangefasettet spiss med aktiviserbare kodemønstre), og prinsippene for et enkelt kamera- og gjenkjennelsessystem hvis synsfelt dekker prosjektørlerret, dataskjerm eller virtuell skjerm. På den koniske, mange-fasetterte eller trekantede spissen, se Figur 1, er det ett eller flere kodemønstre, og hvor kun ett eller et antall av disse er synlige sett fra kamera- og gjenkjennelsessystemet, avhengig av med hvilken vinkel som redskapet 1 er dreiet om sin egen akse, og eventuelt avhengig av tilstanden for aktiveringsmekanismen/funksjonen. Man holder redskapet omtrent på samme måte som når man skriver med en blyant/tusj/kritt. Siden spissen er utstyrt med flere kodemønstre 3, vil man kunne dreie redskapet mellom fingrene (inntil ønsket kode er synlig). De ulike kodemønstrene 3 kan man la representere ulike farger (inklusive bakgrunns-farge/viskelær) , ulike funksjoner (penn, pensel, kritt, spray osv.) eller også identifisere ulike aktører/bidragsytere.

Kodemønstre 3 og dermed farge/funksjon kan aktiveres på ulike måter. I en utførelsesforma av tegne- skrive- eller pekeredskapen 1 i henhold til oppfinnelsen kan anordningen eksempelvis aktiveres ved hjelp at bruk av en knapp på en fjernkontroll eller et tasatur markerer at skriveredskapet brukes. Tegneanordningen 1 kan da være uten mekanikk eller mekanismer, og den behøver ingen energikilde.

I en annen utførelsesform av tegne- skrive- eller pekeredskapen 1 i henhold til oppfinnelsen kan en passiv anordning uten energikilde kan aktiveres ved kompresjon av et luftkammer ved sammenklyping, eksempelvis av av brukerens fingre. Dette gir aksial forflytning av en innvendig, eksempelvis svart, sylinder med spiss, slik at mønsteret på en delvis transparent ytre spiss får en kontrastfarget bakgrunn og dermed kan detekteres.

I enda en utførelsesform av tegne- skrive- eller pekeredskapen 1 i henhold til oppfinnelsen omfatter aktiveringsmekanismen to objekter (en indre spiss og et ytre delvis transparent deksel) forskyves aksialt i forhold til hverandre ved aktivering. Før forskyvnnig ligger kodemønstret 3 på den indre spissen og stripenettet på det ytre dekslet rett over hverandre, dvs. "i register". Ved at den indre spissen eller det ytre dekslet forskyves kun en halv stripeavstand fremkommer et resulterende kodemønster 3, se Figur 3A-d. Figur 3A illustrerer en underliggende film/objekt med. et kodemønster 3, her tilfeldig valgt. Figur 3B illustrerer en overliggende film/deksel med stripenett. Figur 3C illustrerer det resulterende stripemønsteret når filmen/dekslet i Figur 3B legges over filmen/objektet i Figur 3A, når de to er "i register". Figur 3D illustrerer det resulterende stripemønsteret når filmen/dekslet i Figur 3B legges over filmen/objektet i Figur 3A forskjøvet en halv stripeavstand horisontalt. Denne utførelsesformen behøver heller ingen energikilde i selve tegne-, skrive-, eller pekeredskapen.

I nok en utførelsesform av tegne-, skrive-, eller pekeredskapen 1 i henhold til oppfinnelsen kan aktiveringsmekanismen omfatte en eller flere infrarøde emitterende dioder som slås på, og at forskjellige mønstre på en delvis transparent ytre spiss blir synlige for kamera-/synssystemet. Dette mønsteret behøver ikke være synlig for øyet. De infra-røde diodene kan være anordnet i en eller flere rekker. En slik utførelsesform krever bruk av en energikilde, eksempelvis i form av batterier, i selve tegne- skrive-eller pekeredskapen.

I ytterligere utførelsesformer av tegne- skrive- eller pekeredskapen 1 med infradrøde emitterende dioder benyttes modulasjon av det infrarøde (IR) lyset sammen med en IR-dekoder for å gi tilleggsinformasjon til systemet om valg av penntype, farge, etc. og for identifisering av ulike brukere. Slike utførelseformer krever bruk av en energikilde, eksempelvis i form av batterier, i selve tegne- skrive-eller pekeredskapen. Redskapen vil også omfatte tilleggs-elektronikk som er innrettet til å modulere lysdiodene for overføring av informasjon.

Kamera- og gjenkjennelsessystem avbilder lerretet/skjermen med en fast bilderate, typisk 25-30 bilder per sekund. Hver videolinje i bildet filtreres med et tilpasset filter ("matched filter"), som gir maksimal utverdi når et bestemt kodemønster opptrer. Gunstige koder er de som har lav autokorrelasjon (lite sammenfall mellom kodemønsteret og en venstre- eller høyreforskjøvet utgave av kodemønsteret) og lav krysskorrelasjon (lite sammenfall mellom ett kodemønster 3 og et annet kodemønster 3, eller en forskjøvet utgave av dette). Valg av slike kodemønstre 3 eller sekvenser med gode statistiske egenskaper er dekket av omfattende teori og anvendelser innen telekommunikasjon, og eksakte kodevalg vil ikke være en del av oppfinnelsen. Metoden er imidlertid validert gjennom bruk av eksempler på kodemønstre som gir meget godt resultat, slik som f.eks. Figur 4 viser. Figur 4A viser kamerasystemets bilde av et tilfeldig skjermbilde på en dataskjerm med en forenklet utgave av et skrive-, tegne- og pekeredskap pålagt. I Figur 4B-H viser de mørke feltene i plottene de punkter der utgangen fra det tilpassede filteret, "matched FIR-filter", til kodemønsteret 3 med koeffisienter

[1,1,1,-1,-1,-1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1,-1,-1,-1,1,1,1]

er over en viss terskelverdi, hhv 100, 200, 300, 400, 500, 600 og 700.

Siden hver enkelt linje i videobildet

analyseres/filtreres for seg blir maskinvare (dvs. elektronikken) relativt enkel. Utformingen av spissen 2 sikrer også at redskapet 1 kan holdes på forskjellig måte og med forskjellig vinkel uten at nøyaktigheten til deteksjonen av tuppens 2 posisjon reduseres, fordi det alltid vil være en videolinje som skjærer gjennom denne og som får inn hele kodemønsteret 3, se Figur 2.

Deteksjonselektronikken vil direkte kunne sende informasjon til datamaskin om hvordan tegne-, skrive- og pekeredskapet 1 forflytter seg, f.eks. tilsvarende den informasjon som sendes til datamaskin fra en datamus. Dette betyr at systemet kan brukes med alle programmer som bruker mus i dag. En prototyp er under ferdigstilling som demonstrerer prinsippet i sann tid.

Claims (18)

1. Tegne- og/eller skrive- og/eller pekeanordning (1) for datapresentasjoner og datastøttet kontorarbeid eller lignende karakterisert ved at anordningens spiss (2) omfatter ett eller flere kodemønstre (3) som kan detekteres av et kamera- og gjenkjennelsessystem.

2. Anordning ifølge krav 1 der anordningens spiss omfatter kodemønstre (3) plassert på en trekantet, konisk eller fasettert del for derved å sikre kontinuerlig deteksjon av kodemønster (3) og spissens (2) posisjon ved typiske skrive- og tegnebevegelser.

3. Anordning ifølge et av de foregående krav der den omfatter en aktiveringsmekanisme/funksjon slik at kodemønstre (3) kan aktiveres/kontrolleres av anordningens bruker.

4. Anordning ifølge krav 3 der aktiverings-mekanismen/funksjonen omfatter en knapp på en fjernkontroll eller et tastatur.

5. Anordning ifølge krav 3 der aktiverings-mekanismen/funksjonen omfatter et luftkammer, som kan komprimeres ved å klype fingrene sammen, og derved forskyver en svart innvendig sylinder med spiss, slik at kodemønsteret (3) på en delvis transparent ytre spiss får en kontrastfarget bakgrunn slik at kodemønsteret (3) blir synlig og detekterbart.

6. Anordning ifølge krav 3 der aktiverings-mekanismen/funksjonen omfatter en indre spiss og et ytre deksel som kan forskyves aksialt i forhold til hverandre ved aktivering, og at før forskyvning ligger kodemønstret (3) på den indre spissen og et stripenett på på det ytre dekslet rett over hverandre dvs. "i register", og der det ved forskyvning av den indre spissen eller det ytre dekselet en halv stripeavstand fremkommer et resulterende kodemønster (3) .

7. Anordning ifølge krav 3 der aktiverings-mekanismen/funksjonen omfatter en infrarød emitterende diode med tilhørende batteri(er) der dioden ved aktivering bevirker at forskjellige mønstre på en delvis transparent ytre spiss blir synlig for kameraet/gjenkjennelsessystemet.

8. Anordning ifølge krav 3 der aktiverings-mekanismen/funksjonen omfatter et flertall infrarøde dioder i en eller flere rekker med tilhørende batteri(er) der diodene ved aktivering bevirker at forskjellige mønstre på en delvis transparent ytre spiss blir synlig for kameraet/gjenkjennelsessystemet.

9. Anordning ifølge krav 7 eller 8 der den omfatter midler til å modulere det infrarøde lyset.

10. Anordning ifølge krav 9 der det modulerte infrarøde lyset inneholder tilleggsinformasjon om penntype, farge etc.

11 Anordning ifølge krav 9 der det modulerte infrarøde lyset inneholder tilleggsinformasjon som kan benyttes til identifikasjon av flere brukere.

12. Kamera- og gjenkjennelsessystem for samvirke med tegne-og/eller skrive- og/eller pekeanordning for datapresentasjoner og datastøttet kontorarbeid i følge krav 1 karakterisert ved at kameraet opptar ett eller flere bilder hvorav i det minste ett bilde inneholder ett eller flere kodemønstre fra en eller flere tegne-og/eller skrive- og/eller pekeanordninger.

13. Anordning ifølge krav 12 der at kamera- og gjenkjennelsessystemet omfatter posisjonsbestemmelsesmidler for bestemmelse av anordningens posisjon i ett eller flere bilder.

14. Anordning ifølge krav 13 der posisjonsbestemmelses-midlene omfatter filtreringsmidler for filtrering av horisontale linjer i bildene.

15. Anordning ifølge krav 14 der filtreringsmidlene omfatter filtre, fortrinnsvis matchede filtre, som er tilpasset kodemønstrene (3), og etterfølgende maksimalverdi-deteksjon for derved å finne anordningens posisjon.

16. Anordning ifølge et av de foregående krav 12-15 der den omfatter dataoverføringsmidler for overføring av signaler til en datamaskin idet signalene omfatter informasjon om anordningens posisjon.

17. Anordning ifølge krav 16 der signalene er på samme format som f.eks. signalene fra en datamus.

18. System for tegning, skriving og peking egnet for datapresentasjoner og datastøttet kontorarbeid omfattende - en tegne- og/eller skrive- og/eller pekeanordning (1) - et kamera- og gjenkjennelsessystem - datasystem med en fremviserenhet omfattende en prosjektørskjerm, en dataskjerm, en flatskjerm eller en virtuell skjerm karakterisert ved at spissen (2) på en eller flere tegne- og/eller skrive- og/eller pekeanordninger (1) omfatter ett eller flere kodemønstre (3) som kan detekteres og posisjonsbestemmes av kamera- og gjenkjennelsessystemet, og at den posisjonsbestemmende informasjonen fortløpende kan overføres til datasystemet, slik at en eller flere brukere kan tegne og/eller skrive og/eller peke på fremviserenheten, som erstatning for datamus eller tilsvarende anordninger.