DE10209797A1 - Optische Pseudo-Rollkugel zur Steuerung des Betriebs einer Vorrichtung oder Maschine - Google Patents

Optische Pseudo-Rollkugel zur Steuerung des Betriebs einer Vorrichtung oder Maschine

Info

Publication number
DE10209797A1
DE10209797A1 DE10209797A DE10209797A DE10209797A1 DE 10209797 A1 DE10209797 A1 DE 10209797A1 DE 10209797 A DE10209797 A DE 10209797A DE 10209797 A DE10209797 A DE 10209797A DE 10209797 A1 DE10209797 A1 DE 10209797A1
Authority
DE
Germany
Prior art keywords
input
finger
device control
operator
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE10209797A
Other languages
English (en)
Inventor
Gary B Gordon
Edward L Miller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elan Microelectronics Corp
Original Assignee
Agilent Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agilent Technologies Inc filed Critical Agilent Technologies Inc
Publication of DE10209797A1 publication Critical patent/DE10209797A1/de
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Image Input (AREA)
  • Character Discrimination (AREA)
  • Telephone Set Structure (AREA)
  • Image Analysis (AREA)

Abstract

Ein optischer Fingerspitzenverfolger, der eine Pseudo-Rollkugel sein kan, antwortet auf die Bewegung der Textur an einem der Finger des Benutzers, der an eine Bildeingabeapertur gedrückt wird, um Bewegungssignale zu erzeugen, die in einer zu steuernden Vorrichtung verarbeitet werden. Die Vorrichtung kann eine minimale GUI, wie zum Beispiel eine LCD-Anzeige, aufweisen, die lediglich eine geringe Anzahl von Niedrigauflösungs-Pixelstellen und/oder von vorab festgelegten Schriftzeichen oder Icons aufweist. Ein Vorrichtungsteuerparameter wird als Antwort auf eine Translationsbewegung der Fingerspitze entlang einer bestimmten Achse eingestellt oder angepaßt. Um zum Beispiel einen Parameterwert (Lautstärke) einzugeben, kann ein sich veränderndes Balkendiagramm angezeigt werden. Die Anzeige kann sogar weggelassen werden; um die Tonsteuerung einer Audiovorrichtung einzustellen, kann es ausreichend sein, einfach den Ton anzupassen, bis das Ergebnis nach Wunsch ausfällt. Eine numerische Anzeige von Steuerparameterziffern kann wünschenswert sein, wie zum Beispiel dann, wenn ein Bewegen der Fingerspitze einen Empfänger einstellt. Es können mehrere bestimmte Achsen vorliegen, entlang denen eine Fingerspitzenbewegung einen zugeordneten Vorrichtungssteuerparameter ändert. Andere Vorrichtungen können eine Schriftzeichenerkennung von eingegebenen Schriftzeichen, die durch die Fingerspitze nachgefahren werden, umfassen. Ein druckempfindlicher Schalter, der mit dem Fingerspitzenverfolger ...

Description

Der Gegenstand der vorliegenden Anmeldung ist verwandt mit den in US-6,057,540, US-5,578,813 und US-5,786,804 be­ schriebenen Gegenständen. Diese drei Patente beschreiben Techniken zum Verfolgen einer Positionsbewegung, wobei die­ se Techniken Komponenten des nachfolgend beschriebenen be­ vorzugten Ausführungsbeispiels umfassen. Diesbezüglich wird die Offenbarung dieser drei Schriften hiermit aufgenommen.
Der Gegenstand der vorliegenden Offenbarung ist auch mit einer Maschinenerkennung handgeschriebener kursiver Schriftzeichen verwandt. Dies ist eine etablierte Technik, wie durch die vielen Patentschriften, die für die verschie­ denen Methoden und Verwendungen einer solchen Erkennung er­ teilt wurden, gezeigt wird. Siehe beispielsweise US- Patentschriften 4,024,500; 5,644,653; 5,970,170; 5,459,809; 5,058,182; 5,105,468; 5,034,989; 5,742,705; 5,862,251; 5,991,439; 5,455,875 und 5,481,625, die sich alle direkt auf den hierin interessierenden Typ von Schriftzeichener­ kennung beziehen und deshalb alle durch Bezugnahme hierin aufgenommen sind. Die Fähigkeit eines Faxgeräts, eine auf einem Dokument handgeschriebene Telefonnummer zu wählen, ist in 5,991,439 offenbart. Ein auf einer Anzeige basie­ rendes Korrekturschema ist in 5,455,875 (Zeilen 9-20 der Spalte 5) offenbart, und Fig. 16 von 5,481,625 zeigt das Nachfahren eines Schriftzeichens durch eine Fingerspitze auf einem Tableau vom Hautwiderstandstyp (Zeilen 3-9 der Spalte 10).
Die meisten Vorrichtungen und Maschinen weisen Steuerungen auf, anhand derer die Vorrichtung durch einen Benutzer be­ dient wird. Der übliche Fall, insbesondere vor dem Aufkom­ men von Mikroprozessorsteuerungen, war der, daß ein mecha­ nisch bewegliches Element, beispielsweise ein schwenkbarer Hebel oder eine gelagerte Welle, durch die Bedienperson be­ wegt wurde. Etwas (z. B. ein Ventil oder eine Bremsbacke), das mit dem mechanisch beweglichen Element verbunden war, beeinflußte direkt den Betrieb der Vorrichtung. Sogar im Falle elektrischer und elektronischer Vorrichtungen wurden die Kontakte von Schaltern, Schleifarme von Potentiometern, Rotoren von Kondensatoren und Spulenkerne von Induktoren durch die Leistung der menschlichen Hand (oder vielleicht eines Fußes) bewegt. Wir haben nichts gegen Hände (oder Fü­ ße) und möchten lediglich darauf hinweisen, daß, sogar bei Leistungsverstärkungs-Servosystemen, die Bewegung der hand­ bedienten Steuerung von einer entsprechenden Änderung des Zustands einer Schaltung begleitet wurde, was bedeutet, daß durch die mechanische Bewegung eine fundamentale Verschie­ bung des Wertes einer Schaltungskomponente erzeugt wurde. Man betrachte beispielsweise ein älteres Radio für den Ver­ brauchermarkt. Wenn man die Lautstärke erhöhen wollte, drehte man die Welle eines Potentiometers, das als ein Spannungsteiler mit einem variablen Verhältnis in einer Au­ dioverstärkerschaltung verwendet wurde. Desgleichen wurde, um den Sender zu wechseln, der Wert einer reaktiven Kompo­ nente direkt durch eine durch den Benutzer bereitgestellte mechanische Bewegung geändert.
Nachdem Mikroprozessoren allgegenwärtig wurden, änderte sich die Situation dahingehend, zusätzliche Steuerparadigma zu integrieren. Die digitale Steuerung wurde zu einer eta­ blierten Technik, wobei Digital-/Analog-Wandler (DACs = di­ gital to analog converters), Feldeffekttransistoren (FETs = field effect transistors) und Varaktordioden Möglichkeiten lieferten, ein Schaltungsverhalten (z. B. Verstärkung, Reso­ nanz) auf der Basis eines in einem Register gespeicherten binären Werts zu ändern. Es tauchten neue Steuerparadigmen auf, wie z. B. ein Radio, das eine Anzeige aus Ziffern, die die gegenwärtig abgestimmte Senderfrequenz anzeigen, und diverse Knöpfe aufwies, um inkremental nach oben oder unten abzustimmen, und ohne den Vorteil eines beweglichen Konden­ sators oder Abstimmkerns. Mit dem weiteren Aufkommen von graphischen Benutzerschnittstellen (GUIs = graphical user interfaces), die bei standardisierten Betriebssystemen im­ plementiert sind, welche auf standardisierten Mikroprozes­ soren betrieben werden, kann die Bewegung einer Computer­ maus (oder eines anderen Bildschirmzeigermechanismus) die Handlung, tatsächliche variable Komponenten in einer Schal­ tung einer echten mechanischen Bewegung zu unterziehen, er­ setzen. Mit diesen Steuerparadigmen verschwand das Erfor­ dernis einer mechanischen Kopplung zwischen der Hand des Benutzers und der elektronischen Komponente, deren Wert ge­ ändert werden soll, vollständig. Manche sehr komplexe Steu­ erschemata sind auf diese Weise realisierbar, die oft über den Umfang dessen, was bei tatsächlichen Frontbedien­ feldsteuerungen ("echter Hardware") praktisch wäre, hinausgehen. Um die in einem computer-erzeugten Bild zu sehenden Farben zu ändern, interagiert man mit Menüs oder mit anderen Steuerparadigmen, die durch eine GUI präsentiert werden. Um einen Videorekorder zu programmieren, fingert man (oftmals lange Zeit) mit den Pfeiltasten auf einer Fernsteuerung herum, während man eingehend das betrachtet, was auf dem Bildschirm des Fernsehers gezeigt wird.
Eine zunehmende Komplexität und Miniaturisierung sind zwei Tendenzen, bei denen noch lange kein Ende in Sicht zu sein scheint. Solche Geräte in Taschenformat, wie zum Beispiel persönliche digitale Assistenten (PDAs = personal digital assistants), drahtlose oder Mobiltelefone und GPS-Empfänger (GPS = global positioning system = globales Positionsbe­ stimmungssystem) weisen, wenn einzelne Transistoren als Teile gezählt werden, eine enorme Anzahl an Komponenten auf. Sie weisen ferner eine große Anzahl von "Steuerungen" auf, die geändert werden können, um ein unterschiedliches Verhalten hervorzubringen. In der Regel gibt es keine Mög­ lichkeit, daß entsprechende tatsächliche physische Steue­ rungen in das Produkt integriert werden könnten. Sie erhö­ hen die Kosten, sie verringern die Zuverlässigkeit, wenn sie klein ausgeführt werden, gehen sie leicht kaputt und sind schwer zu verwenden, usw. Selbst wenn sie auf eine echte Miniaturform reduziert würden, wäre auf dem Produkt oft nicht genug Raum für die Anzahl an tatsächlichen physi­ schen Steuerungen, die benötigt würden. Was solche Produkte in Taschenformat überhaupt erst möglich machte, sind selbstverständlich der Mikroprozessor, eine rudimentäre Ta­ statur und eine für eine zweckgebundene Anzeige mit be­ grenzter Funktion. Die Verwendung dessen, was man als "Ein­ gabetasten" bezeichnen kann, interagiert über eine Anzeige, um eine große Anzahl von "virtuellen Steuerungen" zu erzeu­ gen, während lediglich eine bescheidene Anzahl von "reellen Steuerungen", die als die Eingabetasten dienen sollen, er­ forderlich ist. Größere und höher entwickelte (oder viel­ leicht lediglich technischere) Vorrichtungen, wie bei­ spielsweise prozessorgesteuerte digitale Oszilloskope oder Logikanalysatoren weisen in der Regel (zumindest als eine Option) eine vollständige Tastatur auf, um das verbleibende gänzliche Desaster zu unterstützen: ein handelsübliches Be­ triebssystem vom Fenster-Typ (ob von Microsoft, Apple oder einer auf X-11 basierenden UNIX-Variante) und einer compu­ terspeziellen Anzeige. Solche Systeme erfordern einen Bild­ schirmzeiger und eine Art und Weise, ihn zu steuern; in der Regel verwenden sie eine Maus.
Viele nützliche Vorrichtungen und Maschinen sind bezüglich ihres Betriebs komplex, sind jedoch als Einheiten in Ta­ schenformat oder als solche, die in der Hand gehalten wer­ den, zu klein, als daß eine Maus (oder etwaige ihrer direk­ ten Äquivalente) praktisch (oder in manchen Fällen sogar wünschenswert) wäre. Jedoch bedeutet die geringe Größe auf keinen Fall, daß nicht auch ein komplexer Steuersatz vor­ handen ist. Bei einer in der Hand haltbaren Einheit ist oft viel Platz für einen leistungsstarken Prozessor und viel Speicher. Die Anzeigetechnologie stellt ebenfalls keine ernsthafte Beschränkung dar. Die Fähigkeiten einer mausbe­ triebenen GUI sind manchmal für diese Vorrichtungen ange­ messen; was nicht erwünscht ist, ist die Maus selbst (oder irgend etwas anderes, das hervorsteht, um sich an Kleidung einzuhängen oder um abgebrochen zu werden). Manchmal wurden anstelle einer Maus Paare von Pfeil- oder Cursorsteuerta­ sten (für nach oben/nach unten, nach links/nach rechts) verwendet. Diese Technik nimmt Raum auf der Tastatur ein und ist auf getrennte einzelne Schritte einer feststehenden Größe in verschiedenen Richtungen beschränkt; beispielswei­ se könnte man den Bildschirmzeiger entlang eines Weges, der um 45° (oder einen anderen willkürlichen Winkel) zu einer der Achsen geneigt ist, die durch eines der Paare von Ta­ sten dargestellt ist, nicht "direkt" übersetzen (man müßte die Tasten abwechselnd drücken, und die Schrittgröße der Bildschirmzeigerbewegung kann zu einem Problem werden). Wir brauchen die Fähigkeiten einer Maus ohne die Sperrigkeit und mechanische Kleinlichkeit der Maus (oder ihrer nahen Verwandten, der herkömmlichen Rollkugel (Trackball)). Teil­ weise in diesem Sinne wurde die Anmeldung MOUSELESS OPTICAL AND POSITION TRANSLATION TYPE SCREEN POINTER CONTROL FOR A COMPUTER SYSTEM eingereicht. Die darin (und auch hierin) offenbarte optische Fingerspitzenverfolgungsvorrichtung ist ein guter Maus-Eliminator für Laptop-Computer und derglei­ chen.
Denkt man jedoch genau darüber nach, ist sie noch mehr als das. Sie ist ausreichend klein, liefert jedoch eine hervor­ ragende Auflösung und erlegt keine strengen Geschwindig­ keits- oder Leistungsverbrauchsbeschränkungen auf. Der Chipsatz, der die Bewegungssignale liefert, ist sozusagen in sich geschlossen, so daß kein Bereich des rechnerischen Mehraufwandes, der benötigt wird, um das grundlegende Ver­ folgen der Fingerspitze durchzuführen, die Mechanismen in der Vorrichtung, zu welcher er hinzugefügt wird, kümmern muß. Das heißt, daß, wenn ausreichende Software-Ressourcen vorliegen, um eine Maus und GUI zu unterstützen, die Fähig­ keit der Fingerspitzenverfolgung im wesentlichen ein reali­ sierbarer direkter Ersatz für eine Maus ist. Aufgrund sei­ ner geringen Größe und aufgrund dessen, daß er auf die Be­ wegung einer Fingerspitze (oder einer Auflagefläche eines Daumens) anspricht, kann er als Teil eines zusätzlichen Steuer- oder Dateneingabeparadigmas, das für eine Maus un­ praktisch ist, verwendet werden. Der Zweck der vorliegenden Anmeldung liegt im Prinzip darin, einige neue Wege aufzu­ zeigen, den Betrieb einer Vorrichtung durch die Verwendung eines verbesserten Fingerspitzen-Verfolgers, den wir als "Pseudo-Rollkugel" bezeichnen werden, zu steuern. Ferner wird klar werden, daß eine voll entwickelte herkömmliche GUI von der Sorte, die für eine Maus verwendet wird, nicht in jedem Fall notwendig oder nicht einmal wünschenswert sein wird, und daß eine minimale GUI, die hergestellt ist, um den bestimmten Merkmalen und Erfordernissen der Vorrich­ tung oder Maschine zu entsprechen, die beste Wahl ist.
Das Wesen der herkömmlichen (mechanischen) Maus, die in Verbindung mit einer kooperierenden Mausunterlage verwendet wird, wird unten kurz dargelegt. Mittig in der unteren Oberfläche der Maus angeordnet ist ein Loch, durch das sich ein Teil der Unterseite einer Stahlkugel mit Gummioberflä­ che erstreckt. Die Mausunterlage ist in der Regel eine Un­ terlage aus einem geschlossenzelligen Schaumgummi, der mit einem geeigneten Stoff überzogen ist. Reibungsarme Kontakt­ flächen auf der unteren Oberfläche gleiten leicht über den Stoff, jedoch rutscht der Gummiball nicht, sondern rollt stattdessen, wenn die Maus bewegt wird. Im Inneren der Maus befinden sich Rollen oder Räder, die den Ball an seinem Äquator berühren und seine Drehung in elektrische Signale umwandeln, die orthogonale Komponenten der Mausbewegung darstellen. Diese elektrischen Signale sind zu dem Computer gekoppelt, wo eine Software auf die Signale anspricht, um die angezeigte Position eines Zeigers (Cursors) gemäß der Bewegung der Maus um ein Δx und ein Δy zu ändern. Der Be­ nutzer bewegt die Maus nach Bedarf, um den angezeigten Zei­ ger an eine gewünschte Stelle oder Position zu bringen. Nachdem der Zeiger auf dem Bildschirm auf ein interessie­ rendes Objekt oder eine interessierende Stelle zeigt, wird die eine oder eine der mehreren Tasten auf der Maus mit den Fingern der Hand, die die Maus halten, aktiviert. Die Akti­ vierung dient als eine Anweisung, eine Handlung vorzuneh­ men, deren Wesen durch die Software in dem Computer defi­ niert ist.
Über die Jahre wurden eine Anzahl optischer Techniken für eine Computermaus vorgeschlagen, jedoch bleibt bis zum heu­ tigen Tag die mechanische Maus die meistverwendete. Zeige­ vorrichtung. Eine kürzliche optische Entwicklung, die wahr­ scheinlich ein beträchtliches Maß an Akzeptanz zu erreichen scheint, ist diejenige, die in der US-Patentanmeldung, Se­ riennr. 09/052,046, mit dem Titel SEEING EYE MOUSE FOR A COMPUTER SYSTEM, die am 30. März 1998 durch Gordon, Knee, Badyal und Hartlove eingereicht und an Hewlett-Packard Co. übertragen wurde, beschrieben wurde. Diese Anmeldung offen­ bart die Verwendung von Techniken, die in den zuvor erwähn­ ten aufgenommenen Patentschriften beschrieben werden, um eine optische Maus zu erzeugen, die auf einer beliebigen Oberfläche navigiert. Die hierin offenbarte Vorrichtung ist eine nichtmechanische Maus, die aus einer Herstellungsper­ spektive rentabel ist, relativ kostengünstig, zuverlässig ist und dem Benutzer als im wesentlichen das betriebsmäßige Äquivalent der herkömmlichen Maus erscheint. Dieser neue Typ von optischer Maus weist einen vertrauen "Griff" auf und ist frei von unerwarteten Verhaltensmerkmalen. Er ist nicht von einer Kooperation mit einer Mausunterlage, ob speziell oder anderswie, abhängig, sondern ist statt dessen in der Lage, auf fast jeder beliebigen Oberfläche zu navi­ gieren. Er verwendet eine einzelne abbildende integrierte Schaltung, um eine Translationsbewegung dieser Schaltung (und implizit der Maus selbst) über die beliebige Oberflä­ che zu verfolgen.
Er ist jedoch immer noch eine Maus und braucht irgendeine Oberfläche, auf der er funktionieren kann, und ist somit für eine Verwendung bei einer Vorrichtung oder Maschine in Taschenformat nicht geeignet. Ferner ist eine Maus, die die Bewegung der gesamten oder des Großteils der Hand erfor­ dert, für ein Nachfahren der Form eines Blocks oder eines kursiven Schriftzeichens nicht dienlich. Ein solcher Einga­ bemodus kann das Erfordernis zusätzlicher Tasten auf der Vorrichtung oder Maschine beseitigen, wodurch die Funktio­ nalität beibehalten wird, während die Größe der Vorrichtung oder Maschine verringert wird.
Es wäre wünschenswert, wenn der optimale Mechanismus (der Fingerspitzenverfolger) der oben erwähnten Patentschrift MOUSELESS OPTICAL POSITION AND TRANSLATION. . . verbessert werden könnte, um eine Bildschirmzeigersteuerung vom Posi­ tionstranslationsbewegungstyp für eine GUI zu ermöglichen, einschließlich einer Menüeintragauswahl, einer Modusaus­ wahl, einer Parameterwertauswahl und einer Schriftzeichen­ eingabe durch Schriftzeichenerkennung, jedoch ohne eine tatsächliche Maus oder ein anderes bewegliches Zubehör, das sich abnützt, blockiert oder verbogen oder ganz abgebrochen wird. Überdies gibt es Anwendungen, bei denen zum Beispiel ein oder mehrere Parameterwerte einzustellen sind und eine komplexe GUI nicht benötigt wird oder ansonsten unerwünscht ist. Es gibt sogar Fälle, bei denen keine GUI erforderlich oder wünschenswert ist. Was ist zu tun?
Es ist die Aufgabe der vorliegenden Erfindung, Vorrichtun­ gen und Verfahren zum Steuern des Betriebs einer Vorrich­ tung zu schaffen, die ein flexibles Bewirken von Benutzer­ eingaben für die Vorrichtung ermöglichen.
Diese Aufgabe wird durch Vorrichtungen gemäß den Ansprüchen 1, 41, 46 und 48 und ein Verfahren gemäß Anspruch 63 oder 67 gelöst.
Ein optischer Finger-(Fingerspitzen-)Verfolger spricht auf die Bewegung eines Bildes für einen Teil der Textur (denke: "Fingerabdruck") an einem der Finger des Benutzers, der ein Daumen oder ein anderer Finger sein kann, an. Die Spitze des Fingers wird gegen eine Bildeingabeapertur gedrückt, die vorzugsweise ein transparentes kuppelförmiges Element enthält, das einer winzigen Rollkugel ähnelt, das sich je­ doch nicht bewegt. Da es ansonsten sowohl in bezug auf das Erscheinungsbild als auch den Griff einer ziemlich kleinen Rollkugel ähnelt, nennen wir es eine "Pseudo-Rollkugel". Eine Bewegung des Fingers erzeugt eine Bewegung des Bildes, die wiederum durch einen Bewegungswandler erfaßt und in entsprechende Bewegungssignale übersetzt wird, die durch eine Vorrichtungs- oder Maschinensteuerschaltung verwendet werden, um den Wert eines oder mehrerer zugeordneter Vor­ richtungssteuerparameter einzustellen oder zu ändern. Die Bildeingabeapertur kann die Oberfläche einer Linse (oder eines anderen optischen Bildkopplungselements) sein, die selbst an einer zweckmäßigen Stelle an dem Gehäuse der zu steuernden Vorrichtung oder Maschine plaziert ist. Wenn sich das Bild in dem Bewegungssensor "bewegt", verschwindet ein Teil desselben aus dem Sichtfeld und wird durch andere Bildmuster von einem benachbarten Teil des Fingers ersetzt. Ein ausreichend geändertes Bild wird als ein neues aktuel­ les Bild aufrechterhalten, das sich daraufhin selbst än­ dert, und so weiter. Ein Vergleich zwischen einem Referenz­ rahmen (vorheriges Bild) und dem aktuellen Rahmen (vorlie­ gendes Bild) ermöglicht eine Erfassung des Ausmaßes und der Richtung der Bildbewegung. Diese erfaßten Ausmaße werden als Bewegungssignale formatiert und an eine Software in ei­ ner zu steuernden Vorrichtung gesandt. Die Bewegungssignale können in Verbindung mit einer voll entwickelten handelsüb­ lichen GUI verwendet werden, falls das sinnvoll ist, um ei­ ne Menüeingabeauswahl, eine Bewegung von Schiebern durchzu­ führen, um Parameterwerte und Modi einzustellen, genauso als ob diese Bewegungssignale mit einer herkömmlichen Maus entstanden wären. Es liegt jedoch keine Maus vor, und es ist auch eine GUI einer beträchtlich verringerten Komplexi­ tät möglich, wo beispielsweise eine Flüssigkristallanzeige (LCD-Anzeige), die lediglich eine bescheidene Anzahl von Niedrigauflösungspixelstellen und/oder vorab festgelegten Schriftzeichen oder Icons aufweist, die benötigte Funktio­ nalität bewerkstelligen kann. Um beispielsweise einen Para­ meterwert einzugeben (wie zum Beispiel das Einstellen einer Tonsteuerung an einer Audio-Vorrichtung), kann als Antwort auf eine Translationsbewegung der Fingerspitze entlang ei­ ner bestimmten Achse ein Balkendiagramm angezeigt werden. Die Anzeige könnte sogar weggelassen werden. Um die Laut­ stärke einer Audio-Vorrichtung einzustellen, ist es im Prinzip ausreichend, einfach die Lautstärke in Echtzeit einzustellen, während die Spitze des Fingers über den Fin­ gerspitzenverfolger bewegt wird. Vermutlich muß der Benut­ zer nicht sehen, wie laut es ist, er kann es hören. In man­ chen Fällen kann eine numerische Anzeige von Ziffern, die­ einen Vorrichtungssteuerparameter darstellen, wünschenswert sein, wie zum Beispiel dann, wenn ein Empfänger abgestimmt wird (ein Bewegen der Fingerspitze ändert den Sender). Die meisten Zuhörer möchten lieber wissen, auf welchen Sender sie abgestimmt haben. Für manche Vorrichtungen kann vor ei­ ner derartigen Parametereinstellung ein vorläufiger Modusauswahlprozeß (z. B. Navigieren in einem Menü und Auswählen eines Eintrags) wünschenswert sein; bei anderen kann eine solche vorläufige Aktivität unnötig sein. Bei einem Funkempfänger kann es beispielsweise ein dauerhaftes Merkmal des Steuerparadigmas sein, daß die Lautstärke durch eine Fingerspitzenbewegung in einer von vorne nach hinten verlaufenden Bewegung eingestellt wird, eine Abstimmung von links nach rechts erfolgt und eine Tonsteuerung entlang ei­ ner um 45° zu den anderen beiden geneigten Achse erfolgt.
Andere Vorrichtungen umfassen eine Schriftzeicheneingabe als Teil ihres Betriebs. Beispiele umfassen Telefone (Wäh­ len oder Speichern von Telefonnummern, einfache Eingabe von Namen), GPS-Empfänger (beispielsweise für eine Eingabe ei­ ner interessierenden Position) und Video- und Digitalkame­ ras (Datums- und Anmerkungsinformationen, die auf dem auf­ gezeichneten Bild erscheinen sollen). Statt ein markiertes Feld über einzelne Schriftzeichen in einer Liste zu scrol­ len und daraufhin durch Drücken einer Auswählen-Taste eines zu wählen und anschließend diesen Vorgang für jedes weitere Schriftzeichen zu wiederholen, kann die Fingerspitze die gewünschten Schriftzeichen jeweils einzeln auf der Pseudo- Rollkugel verfolgen. Das interpretierte Ergebnis kann in einer Anzeige erscheinen. Ein druckempfindlicher Schalter, der mit der Pseudo-Rollkugel gekoppelt ist, kann als ein Begrenzungsmechanismus dienen, der bei einer Ratifizierung von interpretierten Ergebnissen und bei einem Bearbeiten von Zeichenfolgen, die eingegeben wurden, nützlich ist. Auslenkungen als ein Korrelationsverlust-Signal können er­ faßt und als ein Antippen der Bildeingabeapertur mit der Fingerspitze interpretiert werden. Ein solches "Antippen" und "Doppelantippen" kann definiert werden und hat ausge­ wählte Bedeutungen, die mit demselben in Zusammenhang ste­ hen und die in Verbindung mit dem oder anstelle des druckempfindlichen Schalters verwendet werden können.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:
Fig. 1 ein verallgemeinertes Blockdiagramm einer Vor­ richtung oder Maschine, die die Bewegung der Spitze eines Fingers einer Bedienperson verfolgt, um den Wert mindestens eines Vorrichtungssteuer­ parameters (oder Maschinensteuerparameters), der den Betrieb der Vorrichtung (Maschine) steuert, einzustellen oder zu ändern;
Fig. 2 eine Veranschaulichung eines drahtlosen Telefons, das ein Menü anzeigt, das gemäß einer Bewegung des Daumens eines Benutzers über eine Pseudo- Rollkugel durchlaufen wird;
Fig. 3 eine vereinfachte Ansicht einer Miniatur-Pseudo- Rollkugel vom "BB"-Stil, die als ein Fingerspit­ zenverfolger für eine Vorrichtung, wie beispiels­ weise das drahtlose Telefon der Fig. 2, verwendet wird;
Fig. 4 eine Veranschaulichung eines Benutzers eines drahtlosen Telefons, der die Lautstärke ein­ stellt, indem er seinen Daumen über die Pseudo- Rollkugel bewegt;
Fig. 5 ein Diagramm einer Fingerbewegung entlang Achsen, die durch einen optischen Bewegungswandler erfaßt und verwendet werden kann, um die Werte zugeord­ neter Steuerparameter zu modifizieren;
Fig. 6 ein vereinfachtes Flußdiagramm, das einen Teil des internen Betriebs einer Vorrichtung oder Ma­ schine veranschaulicht, der die Werte von Steuer­ parametern gemäß Fig. 5 modifiziert;
Fig. 7 eine Veranschaulichung eines Benutzers, der eine Telefonnummer an einem drahtlosen Telefon "wählt", indem er die Ziffern auf einer Pseudo- Rollkugel mit der Spitze eines Fingers verfolgt;
Fig. 8 ein Diagramm eines Paars von vereinfachten Fluß­ diagrammen, die in schrittweise Korrespondenz plaziert wurden, um anzugeben, wie eine Vorrich­ tung oder Maschine eine Pseudo-Rollkugel oder ei­ nen anderen Fingerspitzenverfolger verwenden kann, um Zeichenfolgen von Schriftzeichen ein­ zugeben;
Fig. 9 ein Zustandsmaschinendiagramm für eine Zustands­ maschine, die identifiziert, wann ein Benutzer mit seiner Fingerspitze ein einzelnes Antippen des Fingerspitzenverfolgers durchführt; und
Fig. 10 ein Zustandsmaschinendiagramm für eine Zustands­ maschine, die identifiziert, wann ein Benutzer mit seiner Fingerspitze ein Doppelantippen des Fingerspitzenverfolgers durchführt.
Es sei nun auf Fig. 1 Bezug genommen, bei der ein verallge­ meinertes Blockdiagramm 1 einer Vorrichtung oder Maschine 2 gezeigt ist, bei der der Wert mindestens eines Vorrich­ tungssteuerparameters 15 durch die Bewegung der Spitze ei­ nes Fingers 3 einer Bedienperson an einer Bildeingabeaper­ tur 8 bestimmt wird, die an einer zweckmäßigen Stelle an einem Gehäuse 7 angeordnet ist.
Bevor wir fortfahren, ist es angebracht, daß wir darlegen, was wir mit den Begriffen "Vorrichtung" und "Maschine" mei­ nen. Eine Vorrichtung ist ein(e) in sich geschlossene(s, r) Gerät, Werkzeug, Einrichtung oder Apparat, das bzw. die bzw. der eine spezifische Funktion erfüllt, die möglicher­ weise (sogar wahrscheinlich) aus einer in Beziehung stehen­ den Sammlung aus zusammenwirkenden Unterfunktionen besteht. Die Vorrichtung kann durch das Wechselstromnetz oder durch Batterien mit Leistung versorgt werden. Sie kann eventuell in der Hand gehalten werden, sich auf einem Tisch befinden oder an einem Werksboden festgeschraubt sein. So wie wir den Begriff für eine Verwendung hierin, einschließlich der Patentansprüche, definieren, muß eine Vorrichtung keine Ta­ statur aufweisen, die eine individuelle Eingabe des gesam­ ten Satzes an alphabetischen Schriftzeichen per Tastenan­ schlag ermöglicht. ("Alphabetisch" umfaßt nicht numerische Ziffern.) Überdies ist ein Mehrzweck-Computer, eine Ar­ beitsstation, ein PC, ein "Laptop" oder ein Großrechner nicht eine "Vorrichtung", so wie wir den Begriff definie­ ren. Die spezifische Funktion eines Computers besteht dar­ in, ein oder mehrere Anwendungsprogramme auszuführen. Es stimmt zwar, daß ein Mehrzweck-Computer durch geeignetes Programmieren eine Vorrichtung steuern kann, jedoch macht dies den Computer nicht zu einem Teil der Vorrichtung. Es stimmt zwar, daß, insofern, als die spezifische Funktion des Computers darin besteht, die Vorrichtung durch ein ge­ eignetes Programm zu steuern, der Computer andernfalls eine Vorrichtung zu sein scheinen würde, die eine andere Vor­ richtung steuert, jedoch wird dies durch den Tastatur-Teil der Definition ausgeschlossen. Ein Computer, der ein CD- Laufwerk und ein Audio-CD-Abspielprogramm, das Lautsprecher treibt, aufweist, ist ein als CD-Spieler getarnter Compu­ ter. Er ist keine unschuldige Audiovorrichtung, die nur zu­ fällig ein Festplattenlaufwerk, ein gefenstertes Betriebs­ system, einen Monitor und eine vollständige Tastatur auf­ weist.
Es stimmt, daß viele Vorrichtungen Mikroprozessoren aufwei­ sen, die den Betrieb der Vorrichtung durch die Einwirkung eines eingebetteten Systems steuern. Eingebettete Systeme sind im allgemeinen in einem ROM (read only memory, Fest­ wertspeicher) dauerhaft gespeichert und sie sprechen oft auf externe Befehle an, von denen manche ihren Ursprung als Tastenanschläge haben können. Wir nehmen diese Fälle in die Definition einer Vorrichtung auf, solange keine alphabeti­ sche Tastatur vorliegt. Das heißt, daß eine Taste RESET (NEUEINSTELLEN) oder CLEAR (LÖSCHEN) vorliegen kann, jedoch keine Zeichenfolgen einzelner Tastenanschläge für die Schriftzeichensequenzen R_E_S_E_T oder C_L_E_A_R. Jedoch umfaßt eine Vorrichtung den Fall, bei dem ein angezeigtes Menü von alphabetischen "Tasten" oder ein Bild einer alpha­ betischen Tastatur angezeigt wird und "Tasten" mit tatsäch­ lichen Pfeiltasten ausgewählt und daraufhin mit einer tat­ sächlichen Auswählen- oder Ausführen-Taste aufgerufen wird. In einem solchen Fall ist es klar, daß die tatsächlichen Tastenanschläge lediglich indirekt gewünschte "Virtuelle- Taste"-Tastenanschläge gemäß einer dazwischenliegenden In­ terpretation erzeugen. Dies ist nicht die alphabetische Ta­ statur der Definition, da die tatsächliche Sequenz realer Tastenanschläge gänzlich unterschiedlich ist. Beispielswei­ se wäre eine solche Sequenz von realen Tastenanschlägen im allgemeinen für einen Beobachter, der nur diese realen Ta­ stenanschläge und nicht die Anzeige sehen kann, bedeutungs­ los. Er hätte keine Ahnung, was eine beliebige Sequenz von "virtuellen Tasten" ist.
Der Begriff "Maschine" wird hiermit so definiert, daß er eine wie oben definierte Vorrichtung sowie das umfaßt, was ansonsten eine Vorrichtung wäre, abgesehen davon, daß es über eine alphabetische Tastatur mit einer Taste pro Schriftzeichen verfügt.
Um fortzufahren, plaziert eine Bedienperson der Vorrichtung oder Maschine die Spitze seines Fingers (oder Fläche eines Daumens) über die Bildeingabeapertur 8. (Im folgenden wer­ den wir einfach den umfassenderen Begriff "Maschine" dort verwenden, wo beide Bedeutungen passend sind, wobei darun­ ter verstanden wird, daß der Begriff sowohl "Vorrichtung" als auch "Maschine" bedeutet, wenn wir nichts anderes ange­ ben.) In der Regel enthält die Bildeingabeapertur eine Art transparentes Teil (4, 5, 6), das eine optische Funktion erfüllen kann oder auch nicht, während es Schmutz und ande­ re Verunreinigungen an einem Eindringen in das Gehäuse hin­ dert. Beispiele dieser Teile umfassen eine Stablinse (4, und in der US-Patentschrift 6,057,540 als transparenter An­ satz 3, 4 und 5 beschrieben), einen einfachen transparenten scheibenförmigen Stöpsel 5 mit wenigen oder keinen opti­ schen Eigenschaften und (was bevorzugt ist) einen kuppel- oder pilzförmigen "Knopf" 6 (eine Pseudo-Rollkugel). Vor­ zugsweise ist der Knopf 6 klein, vielleicht zwei bis drei Millimeter Durchmesser bezüglich seines kuppelförmigen oder kugelförmigen Abschnitts. Er kann auch zurückgesetzt in dem Gehäuse 7 angeordnet sein, so daß sich lediglich ein Bruch­ teil seines Durchmessers über die äußere Oberfläche des Ge­ häuses erstreckt. Diejenigen, die ihn ausprobiert haben, berichten, daß es sich genauso anfühlt, als ob sich unter ihrem Finger eine rollende Rollkugel der Größe "BB" befän­ de. Es liegt eine hervorragende taktile Rückmeldung darüber vor, wo an der Fingerspitze das Bild aufgenommen wird, so daß es leicht ist, zu vermeiden, die Fingerspitze aus Ver­ sehen von der äußeren Oberfläche der Pseudo-Rollkugel, die als die Bildeingabeapertur dient, abgleiten zu lassen.
Es ist auch möglich, daß die Bildeingabeapertur das Gehäuse überhaupt nicht abdichtet, sondern statt dessen leer ist, obwohl dies bei einer normalen Verwendung bestimmte Nach­ teile zu haben scheint. (Schmutz, verschütteter Kaffee, Keksbrösel und dergleichen könnten in das Gehäuse eindrin­ gen und Schaden verursachen.) Wenn sie andererseits das Ge­ häuse abdichtet, könnte sie eine wasserdichte Abdichtung sein, die immer noch eine problemlose Parameterwerteinstel­ lung erlaubt, ohne daß herkömmliche mechanische Abdichtun­ gen an einer Drehwelle (z. B. O-Ringe usw.) erforderlich sind. Die hierin beschriebenen Techniken ermöglichen somit eine leichte und effektive Wasserabdichtung für bestimmte Vorrichtungsklassen (z. B. in der Hand gehaltene Sen­ de/Empfangsgeräte), bei denen ein Wasserabdichten in der Vergangenheit schwierig oder umständlich war.
Andere Gegenstände in einem optischen Weg, bei denen die Spitze des Fingers 3 eine Rolle spielt, sind: eine Licht­ quelle 9, die eine LED (lichtemittierende Diode), entweder von der Sorte des sichtbaren oder des Infrarot-Lichts, und die Licht 17 emittiert, sein kann; eine Linse oder Linsen­ anordnung 20, die mit einer Linsenaktion durch ein beliebi­ ges bzw. beliebige der Teile 4-6 kooperieren kann oder die, wenn dieselben keine Linsenaktion durchführen, von sich aus ein Bild 18 der Spitze des Fingers auf ein Array aus Photosensoren in einem Bewegungswandler 10 fokussiert; und eine optionale Abschirmung 14, die eine direkte Be­ leuchtung des Photosensorarrays durch die Lichtquelle 9 verhindert. Zusätzlich kann in dem optischen Weg optional ein Spiegel 19 vorhanden sein, der durch Beleuchtungslicht 17 und ein Bild 18, das aus von der Fingerspitze 3 reflek­ tiertem Licht gebildet ist, festgelegt ist.
Der Bewegungswandler 10 erzeugt Bewegungssignale 22, die einer Bewegung des Fingers 3 entlang Koordinatenachsen ent­ sprechen. Diese Bewegungssignale sind mit einer Vorrich­ tungs- oder Maschinensteuerschaltung 11 gekoppelt, wo sie interpretiert werden, um Vorrichtungs- (oder Maschi­ nen)Steuerparameter 15 zu erzeugen, die wiederum mit den tatsächlichen inneren Arbeitsabläufen 13 der Vorrichtung oder Maschine gekoppelt sind. Durch diese Steuerparameter 15 (von denen es viele geben kann) wird eine Steuerung ei­ gentlich realisiert. Eine zusätzliche Interpretation in der Steuerschaltung 11 kann sichtbare oder angezeigte Indizien bzw. Markierungen 12 erzeugen, die Modusinformationen oder Steuerparameterwert(e) anzeigen. Die sichtbaren oder ange­ zeigten Indizien können die nahezu dauerhaften Beschriftun­ gen der LED, die auf dem Gehäuse angebracht sind und die beleuchtet werden, wenn die Bedeutung der Beschriftung in Kraft ist, Schriftzeichen oder Icons, die in eine LCD (Flüssigkristallanzeige) eingebaut sind und die je nach Bedarf sichtbar gemacht werden, und sogar eine vollständig in Pixelform dargestellte Anzeige bzw. eine vollständig pi­ xelisierte Anzeige, die in der Lage ist, willkürliche Bil­ der zu erzeugen, umfassen. Parameterwerte können als Se­ quenzen von Ziffern, durch die Länge eines Balkendiagramms oder durch die Größe eines anderen graphischen Mittels (z. B. Tortendiagramm), von denen jedes eine demselben zuge­ ordnete Markierung aufweisen kann, angegeben werden. Die sichtbaren oder angezeigten Indizien 12 können durch die Steuerschaltung 11, durch die inneren Arbeitsabläufe 13 oder beides, je nach Bedarf, gesteuert werden.
Vorzugsweise liegt auch ein gewisser Schaltmechanismus vor, der auf einen Druck anspricht, der durch die Fingerspitze 3 auf die Peripherie der Bildeingabeapertur 8 ausgeübt wird, oder vielleicht durch einen Druck auf eines der transparen­ ten Elemente 4, 5 oder 6, der durch dasselbe zu der Peri­ pherie der Bildeingabeapertur kommuniziert wird. Die Dinge könnten auch so angeordnet sein, daß das Schaltelement me­ chanisch mit dem Inneren des Gehäuses gekoppelt wäre, ohne daß es mit der Peripherie der Bildeingabeapertur in Bezug gesetzt wird. Der Schaltmechanismus erfüllt eine Funktion, die ähnlich der eines "Knopfes" (der nicht mehr als ein mit dem Finger zu bedienender Schalter ist) an einer herkömmli­ chen Maus ist, und ist mit der Steuerschaltung 11 elek­ trisch gekoppelt.
Wenn es sich schließlich um eine Maschine handelt, liegt eine alphabetische Tastatur 21 vor.
Die bestimmten Einzelheiten des oben erwähnten Bewegungs­ wandlers 10 können aus den hierin aufgenommenen Patent­ schriften ersehen werden. Zum Zwecke der Leserfreundlich­ keit bieten wir hier lediglich eine sehr knappe Zusammen­ fassung dessen, was aus diesen Patentschriften ersehen wer­ den kann.
Die bevorzugte optische Navigation erfaßt optisch eine Be­ wegung indem sie die diversen bestimmten optischen Merkma­ le, die auf einer Oberfläche, zum Beispiel einer Finger­ spitze, sichtbar sind, direkt als ein Array aus Pixeln ab­ bildet. Von einer Fingerspitze reflektiertes IR- oder sichtbares Licht wird auf ein geeignetes Array (beispiels­ weise 16 × 16 oder 24 × 24) aus Photodetektoren fokussiert. Die Antworten der einzelnen Photodetektoren werden zu einer geeigneten Auflösung (beispielsweise acht oder vielleicht lediglich vier oder sogar lediglich ein Bit) digitalisiert und als ein Rahmen an entsprechenden Stellen in einem Spei­ cherarray gespeichert.
Vorzugsweise ist die Größe des auf die Photodetektoren pro­ jizierten Bildes eine Vergrößerung von nahezu Eins der ur­ sprünglichen Merkmale, die gerade abgebildet werden. Die Größe der Photodetektoren und ihre Beabstandung ist derart, daß es viel wahrscheinlicher ist, daß ein oder mehrere be­ nachbarte Photodetektoren pro Bildmerkmal vorliegen, als umgekehrt. Somit entspricht die durch die einzelnen Photo­ detektoren dargestellte Pixelgröße einer räumlichen Region auf der Fingerspitze, die eine Größe aufweist, die im all­ gemeinen geringer ist als die Größe eines typischen räumli­ chen Merkmals auf dieser Fingerspitze (d. h. eine Erhöhung in den Hautwindungen auf der Fingerspitze). Die Gesamtgröße des Arrays aus Photodetektoren ist vorzugsweise groß genug, um ein Bild, das mehrere Merkmale aufweist, zu empfangen. Auf diese Weise erzeugen Bilder von solchen räumlichen Merkmalen übersetzte Muster aus Pixelinformationen, wenn sich die Fingerspitze bewegt. Die Anzahl von Photodetekto­ ren in dem Array und die Rahmenrate, mit welcher ihr Inhalt digitalisiert und aufgenommen wird, wirken zusammen, um zu beeinflussen, wie schnell die Fingerspitze bewegt und den­ noch verfolgt werden kann. Ein Verfolgen wird dadurch be­ werkstelligt, daß ein neu aufgenommener Abtastrahmen mit einem zuvor aufgenommenen Referenzrahmen verglichen wird, um die Richtung und das Ausmaß der Bewegung festzustellen.
Eine Art und Weise, auf die dies getan werden könnte, be­ steht darin, den gesamten Inhalt eines der Rahmen um einen Abstand von einem Pixel (entspricht einem Photodetektor) nacheinander in jede der acht Richtungen, die durch eine Ein-Pixel-Versatz-Versuchsverschiebung ermöglicht werden (eins quer, eins quer und eins nach unten, eins nach unten, eins nach oben, eins nach oben und eins quer, eins quer in die andere Richtung usw.), zu verschieben. Das sind zusam­ men acht Versuche, wir dürfen jedoch nicht vergessen, daß möglicherweise keine Bewegung erfolgt ist, so daß eine "Nullverschiebung" eines neunten Versuchs ebenfalls erfor­ derlich ist. Nach jeder Versuchsverschiebung werden dieje­ nigen Abschnitte der Rahmen, die einander überlappen, pi­ xelweise subtrahiert, und die sich ergebenden Unterschiede werden (vorzugsweise quadriert und daraufhin) addiert, um ein Maß einer Ähnlichkeit (Korrelation) in dieser Überlap­ pungsregion zu bilden. Selbstverständlich sind größere Ver­ suchsverschiebungen möglich (z. B. zwei quer und eins nach unten), aber an einem bestimmten Punkt macht die damit ver­ bundene Komplexität den Vorteil zunichte, und es ist vorzu­ ziehen, einfach eine ausreichend hohe Rahmenrate mit klei­ nen Versuchsverschiebungen zu haben. Die Versuchsverschie­ bung mit dem geringsten Unterschied (größte Korrelation) kann als einen Hinweis auf die Bewegung zwischen den beiden Rahmen genommen werden. Das heißt, daß sie noch unbearbei­ tete Bewegungsinformationen liefert, die skaliert oder ak­ kumuliert werden können, um Bewegungssignale (ΔX und ΔY) einer zweckmäßigen Granularität und bei einer geeigneten Informationsaustauschrate zu liefern.
Es ist vielleicht ein kurzer Hinweis darüber angemessen, wie das Verschieben erfolgt und wie die Korrelationswerte erhalten werden. Die Verschiebung wird bewerkstelligt, in­ dem Adressversätze für Speicher verwendet werden, die zu einem bestimmten Zeitpunkt immer jeweils eine ganze Reihe oder eine ganze Spalte eines Arrays ausgeben können. Eine zweckgebundene arithmetische Schaltungsanordnung ist mit dem Speicherarray, das den Referenzrahmen, der verschoben wird, enthält, und mit dem Speicherarray, das den Proben­ rahmen enthält, verbunden. Die Formulierung des Korrelati­ onswertes für eine bestimmte Versuchsverschiebung (Angehö­ rige der Nächster-Oder-Naher-Nachbar-Sammlung) wird sehr schnell bewerkstelligt. Die beste mechanische Analogie be­ steht darin, sich einen transparenten (Referenz-)Film aus klaren und dunklen Mustern vorzustellen, die angeordnet sind, als ob es sich um ein Schachbrett handeln würde, mit der Ausnahme, daß die Anordnung vielleicht zufällig ist. Nun stelle man sich vor, daß ein zweiter Probenfilm, der dasselbe allgemeine Proben aufweist, über den ersten gelegt wird, mit der Ausnahme, daß er das Negativbild ist (dunkel und hell werden gegeneinander vertauscht). Nun wird das Paar ausgerichtet und gegen das Licht gehalten. Während der Referenzfilm bezüglich des Probenfilms bewegt wird, vari­ iert die Menge an durch die Kombination hereingelassenes Licht gemäß dem Grad, zu dem die Bilder übereinstimmen. Die Positionierung, die am wenigsten Licht durchläßt, ist die beste Korrelation. Wenn das Negativbildmuster des Referenz­ films um ein Quadrat oder zwei von dem Bild des Probenfilms verschoben ist, ist die Positionierung, die am wenigsten Licht durchläßt, eine solche, die mit dieser Verschiebung übereinstimmt. Wir passen auf, welche Verschiebung am we­ nigsten Licht durchläßt: Wir nehmen die Positionierung mit der besten Korrelation wahr und sagen, daß sich die Finger­ spitze um so viel bewegte. Genau dies geschieht übrigens in einer integrierten Schaltung (IC - integrated circuit), die Photodetektoren, einen Speicher und arithmetische Schaltun­ gen aufweist, die angeordnet sind, um die Bildkorrelations- und Verfolgungstechnik, die wir gerade beschreiben, zu im­ plementieren.
Der Bewegungssensor kann eine "Halten"-Funktion aufweisen, die die Erzeugung von Bewegungssignalen zeitweilig aufhebt, wodurch die Fingerspitze physisch von der Bildeingabeaper­ tur weggenommen werden kann, ohne den Ablauf zu stören. Dies kann erforderlich sein, wenn der Bedienperson der Platz ausgeht, um ihren Finger physisch weiterzubewegen, obwohl weitere Bedienvorgänge benötigt werden. Die "Hal­ ten"-Funktion kann automatisch durchgeführt werden, indem Notiz davon genommen wird, daß alle oder eine Mehrzahl der Photodetektoren gleichmäßig an einem bestimmten durch­ schnittlichen Pegel angelangen. Dies steht in deutlichem Kontrast zu dem Fall, bei dem ein fokussiertes Bild vor­ liegt und eine Korrelation stattfindet. Bei dem nichtfokus­ sierten Fall weist der Versuch einer Korrelation zwischen Rahmen (man erinnere sich an eins quer, eins quer und eins nach unten usw.) einen deutlichen Korrelationsverlust auf, der durch den Bewegungswandler erfaßt werden kann. Die Ein­ zelheiten einer solchen Erfassung und ihrer Erzeugung eines Korrelationsverlustsignals sind in den hierin aufgenommenen Patentschriften ausführlich beschrieben. Das Korrelations­ verlustsignal ist die Basis für ein Implementieren bestimm­ ter spezieller Begrenzungsmerkmale in den hierin beschrie­ benen Steuerschemata.
Es sei nun auf Fig. 2 verwiesen, bei der ein Veranschauli­ chungsbeispiel 27 des Typs einer Vorrichtung, die gemäß der Erfindung gesteuert werden kann, gezeigt ist. In der Figur hält ein Benutzer in seiner linken Hand ein drahtloses und Internet-fähiges Telefon 28. Sein Daumen 3 bedeckt einen optischen Fingerspitzenverfolger (der vorzugsweise eine Pseudo-Rollkugel ist), der somit nicht sichtbar ist. Die Telefonvorrichtung 28 umfaßt diverse Tasten 29 und eine An­ zeige 30. In der Anzeige befinden sich Indizien 12, die in diesem Falle Menüpunkte sind, die sich auf eine Webseite für einen Auktionsdienst beziehen. In diesem Fall wird ein Bildschirmzeiger 31 über der gewünschten Menüeingabe posi­ tioniert, indem der Daumen in Richtungen bewegt wird, die dem entsprechen, wohin der Bildschirmzeiger zu bewegen ist, und der Daumen wird nach innen gegen die Pseudo-Rollkugel gedrückt, um die Auswahl abzuschließen. Selbstverständlich kann das Telefon 28 auch dazu verwendet werden, Telefonge­ spräche durchzuführen.
Das Beispiel der Fig. 2 schreibt der Vorrichtung 28 eine relativ komplexe GUI zu und geht von einer vollständig pi­ xelisierten Anzeige aus. Dies muß jedoch nicht der Fall sein, und der Bildschirmzeiger 32 könnte nicht vorhanden sein, und an seiner Statt sind Menüpunkte, die zu einer Auswahl fähig sind, hervorgehoben (z. B. zum Blinken ge­ bracht oder in Fettdruck oder umgekehrter Bildschirmdar­ stellung gezeigt), während sich der Daumen über die Pseudo- Rollkugel bewegt.
Ferner ist die Telefonvorrichtung 28 mit den üblichen Zah­ lentasten, die man auf einem herkömmlichen drahtlosen Tele­ fon erwartet, gezeigt. Obwohl es gute Gründe dafür geben mag, daß sie sich dort befinden (ein unerfahrener Benutzer erwartet sie? . . . oder vielleicht erfordert es ein körper­ liches Handicap wie zum Beispiel Blindheit . . .), wird man einsehen, daß sie ansonsten zugunsten einer Schriftzeichen­ erkennung abwesend sein könnten, die auf die Bewegungssi­ gnale hin durchgeführt wird, die erzeugt wurden, als die Form der Ziffertasten durch die Spitze des Fingers der ei­ nen Hand des Benutzers nachgefahren wurde, während die an­ dere Hand das Telefon festhielt. Selbstverständlich bedeu­ tet das Vorhandensein der herkömmlichen Zahlentasten nicht, daß eine Schriftzeichenerkennung nicht zusätzlich zu her­ kömmlichen Tastenanschlägen durchgeführt werden kann. Über­ dies wird eine Ziffernzeichenerkennung zu Wählzwecken ohne weiteres auf die alphabetischen Schriftzeichen, einschließ­ lich diverser Satzzeichensymbole, ausgeweitet. Beispiels­ weise ermöglicht dies eine beträchtliche Vereinfachung bei den Verfahrensweisen, die verwendet werden, um nützliche Tabellen von Namen oder andere Markierungen, die Telefon­ nummern zuzuordnen sind, zu speichern. Ziffern-, Schrift­ zeichen- und Symbolerkennung gemäß digitalisierten Bewe­ gungssignalen ist an sich schon eine etablierte Technik, wie durch die hierin aufgenommenen Patentschriften, die auf dieses Thema ausgerichtet sind, gezeigt wird. Es gibt je­ doch einige zusätzliche Aspekte einer Benutzerschnittstel­ le, die sich auf eine solche Technik stützt, ob nun für ein Telefon, eine PDA, ein GPS oder irgendeine andere Vorrich­ tung, und diese werden nachstehend näher erörtert.
Wir wenden uns nun Fig. 3 zu, die eine Querschnitts- Mischansicht 24 einer Vorrichtung nach der Art der Fig. 2 ist, bei der ein Fingerspitzenverfolger vorliegt, der mit einer Miniatur-Rollkugel (obwohl es sich eigentlich um eine Pseudo-Rollkugel handelt) verglichen werden kann. Wie zuvor umschließt ein Gehäuse 7 die Vorrichtung. Das Gehäuse weist auch eine Bildeingabeapertur 8 auf. Diesmal enthält die Bildeingabeapertur jedoch eine Abwandlung (23) des transpa­ renten kuppelförmigen Elements 6 der Fig. 1 auf; der Unter­ schied liegt in der Form und der Art und Weise der Halte­ rung. Die kuppelförmige Miniatur-Rollkugel "BB" 23 kann aus Glas oder Kunststoff sein, und der kuppelförmige Abschnitt beträgt vorzugsweise ungefähr zwei bis drei Millimeter Durchmesser und wird durch Federn 25, elastische Finger oder eine flexible Dichtung an Ort und Stelle festgehalten. Er wird auf eine Art und Weise festgehalten, die die Betä­ tigung des Schalters 26 ermöglicht, wenn der Daumen 3 mit ausreichender Kraft gegen die BB-Rollkugel 23 drückt. Wenn kein Schalter vorhanden wäre oder wenn die Betätigung des Schalters nicht eine Bewegung oder die Übertragung von Kraft durch die BB beinhalten würde, könnte er selbstver­ ständlich auch starr an dem Gehäuse befestigt sein (z. B. geklebt, gesenkt, gefügt oder eingepreßt).
Man beachte, daß sich die BB-große Rollkugel 23 um viel­ leicht ungefähr einen Millimeter über die Oberfläche des Gehäuses 7 erstreckt, und der Daumen 3 eine gekrümmte Ober­ fläche über dem oberen Ende der BB bildet. Die Kräfte, die die BB 23 in der Bildeingabeapertur des Gehäuses festhal­ ten, und diejenigen, die benötigt werden, um den Schalter 25 zu betätigen, werden ausgewählt, um eine bequeme Einle­ gung des Daumens ohne ein Betätigen des Schalters zu ermög­ lichen: ein kräftigeres Pressen des Daumens an die BB betä­ tigt den Schalter.
Wie bei Fig. 1 liefert eine LED 9 eine Beleuchtung der Oberfläche der Daumen- oder Fingerspitze, deren Bild durch einen Bewegungswandler 10 verfolgt werden soll. Licht von der LED 9 kann direkt zu der Unterseite der BB 23 wandern, von dem Finger 3 reflektiert (18) werden und daraufhin durch die Fokussierlinse 20 gelangen, oder es könnte vor oder nach einer Reflexion durch die Linse 20 gelangen. Wenn die LED 9 sichtbares Licht emittieren würde, wäre die Posi­ tion der Pseudo-Rollkugel für den Benutzer ohne weiteres offensichtlich, und er würde an ihre Funktion erinnert. Man sollte jedoch im Gedächtnis behalten, daß es bei einer bat­ teriebetriebenen Vorrichtung auch wünschenswert sein kann, die LED nach einem bestimmten Zeitraum einer erfaßten Nichtbenutzung abzuschalten, um sparsam mit Leistung umzu­ gehen. Es kann auch wünschenswert sein, die LED mit der Ra­ te einer Abtastwertgewinnung mit Pulsen zu beaufschlagen, um weitere Leistung einzusparen.
Falls gewünscht, kann die Pseudo-Rollkugel 23 eine flache Unterseite aufweisen, oder sie kann eine andere optisch nützliche Form aufweisen. Die gekrümmte obere Oberfläche der Pseudo-Rollkugel 23 verleiht der Fingerspitze, die ge­ rade abgebildet wird, eine gekrümmte Oberfläche, jedoch ist die Schärfentiefe der Fokussierlinse 20 ausreichend, um diese Krümmung zu berücksichtigen.
Was die Fokussier- (oder Abbildungs-)Linse 20 betrifft, so kann sie bikonvex sein und einen Durchmesser von ungefähr einem mm, eine Brennweite von drei mm und eine Geschwindig­ keit von f3 aufweisen. Die Objektentfernung und die Bild­ entfernung können jeweils ungefähr sechs mm betragen. Eine Vergrößerung könnte ungefähr 1 : 1 betragen.
Es sei nun auf Fig. 4 verwiesen, bei der das drahtlose Te­ lefon 28 der Fig. 2 auf eine andere Weise 27 als in Fig. 2 bedient wird. Insbesondere stellt die Bedienperson gerade die Lautstärke ein. Sie tut dies, indem sie zunächst einen Modus aufruft, bei dem die Lautstärke einer Einstellung un­ terliegt. Dies könnte erfolgen, indem man ein Menüauswahl­ paradigma, wie es beispielsweise das Thema der Fig. 2 war, verwendet. Wenn man erst einmal in dem Lautstärkeeinstel­ lungsmodus ist, stellt eine Bewegung des Daumens über die Pseudo-Rollkugel (nicht sichtbar) die Länge einer Balken­ diagrammdarstellung 34 ein, die vorzugsweise durch HilfsIn­ dizien 31, 32 und 33 ergänzt wird, die die Bedienperson un­ terstützen oder sie an das Wesen des bzw. der im Gange be­ findlichen Betriebs/Einstellung erinnern. Wenn sich das Balkendiagramm erst einmal bei einer gewünschten Einstel­ lung befindet, ratifiziert ein Drücken gegen die Pseudo- Rollkugel die Auswahl und läßt die Anzeige zu einer weniger spezifischen Abstraktionsebene in dem Steuerparadigma zu­ rückkehren. Selbstverständlich ist ein Balkendiagramm le­ diglich eine Art und Weise, das Einstellen einer Lautstär­ kensteuerung visuell anzugeben; sie könnte auch mit einem numerischen Wert, vielleicht als ein Prozentsatz eines Ma­ ximums, angegeben werden.
Das (herkömmliche) Verfahren, die Lautstärkeeinstellung an einem Telefon oder einer anderen Vorrichtung visuell an­ zugeben, ist hilfreich, wenn die Lautstärke eingestellt wird, während kein Audioprogrammaterial durch die Vorrich­ tung reproduziert wird. Selbstverständlich besteht die Ge­ fahr in der Möglichkeit, daß ein Benutzer unabsichtlicher­ weise die Lautstärke ganz aufdrehen könnte, während kein Audiomaterial vorliegt, um den Pegel zu messen, und dann später auf die schmerzliche Art herausfindet, daß es zu laut ist. Ebenso unzweckmäßig wäre es, die Lautstärke ver­ sehentlich ganz nach unten zu drehen. Trotzdem, wenn man ein Telefon oder einen anderen Funkempfänger auf eine funk­ tionsfähige Weise hält, kann nicht erwartet werden, daß man sieht, was in einer Anzeige gezeigt ist, obwohl es immer noch möglich ist, die Lautstärke (oder einen anderen Para­ meter) mit einer Daumenspitze oder Fingerspitze einzustel­ len, während die Vorrichtung so gehalten wird. Es gibt Ar­ ten und Weisen, die die Auswirkung dieser Umstände minimie­ ren können. Zunächst kann die Vorrichtung es ablehnen, die Lautstärke einzustellen, es sei denn, es wird ein gewisses Audiosignal reproduziert, um es dem Benutzer zu ermögli­ chen, seinen Pegel zu messen. Dies kann beispielsweise für ein für die Unterhaltung bestimmtes, tragbares AM/FM-Radio eine akzeptable Lösung sein, bei anderen Anwendungen (in der Hand gehaltene Sende/Empfangsgeräte) kann eine andere Lösung wünschenswert sein. Man könnte zum Beispiel so vor­ gehen wie Motorola mit seinen FRS- und GMRS- Sende/Empfangsgeräten. Sie weisen eine Zwei-Knöpfe- Schnittstelle ohne Anzeige auf, die verwendet wird, um Bandbreiten- und Geheimhaltungscodes einzustellen. Eine ge­ speicherte Stimme berichtet über Wahlen und Auswahlen, wenn die Knöpfe gedrückt werden. Somit kann unsere Vorrichtung oder Maschine den Benutzer mit einer Audionachricht (z. B. "leise". . . "mittel". . . "LAUT") darüber informieren, wie der Stand der Lautstärkensteuerung lautet.
Bei manchen Steuerparametern, sogar bei Audio-Parametern, kann es selbstverständlich vollkommen akzeptabel sein, kei­ nen visuellen oder anderen Indikator des Parameters, mit Ausnahme der Leistungsfähigkeit der Vorrichtung selbst, zu erzeugen. Wenn beispielsweise eine Tonsteuerung eingestellt würde, könnte es durchaus ausreichend sein, den Benutzer dieselbe einstellen zu lassen, bis ihm gefällt, was er hört, und es dabei zu belassen.
Es sei nun auf Fig. 5 Bezug genommen, die ein Diagramm ist, die für ein Verständnis hilfreich ist, wie eine Pseudo- Rollkugel (oder ein anderer optischer Fingerspitzenverfol­ ger) bei einem Einstellen des Wertes eines Steuerparameters nützlich sein kann, der vielleicht aus einer Mehrzahl sol­ cher Steuerparameter ausgewählt wurde bzw. noch auszuwählen ist. Nehmen wir an, daß die zu steuernde Vorrichtung ein in der Hand gehaltenes Funk-Empfangsgerät (nicht gezeigt) ist. Der Grundgedanke besteht darin, daß eine Achse der Bewe­ gungssignale (beispielsweise die Y-Achse 38) die Lautstär­ kensteuerung darstellt und daß man sie sich nun als eine "Lautstärkenachse" vorstellen kann. Eine Bewegung einer Fingerspitze oder Daumenspitze entlang der Richtung der Y- Achse 38 stellt die Lautstärke des Empfangsgeräts ein. Eine Bewegung entlang der Richtung einer X-Achse 37 erfüllt eine Stations- oder Kanalabstimmfunktion. Als eine Erweiterung dessen, was wir gleich erklären werden, können wir auch in Betracht ziehen, daß ein weiterer Vorrichtungssteuerparame­ ter, beispielsweise eine Tonsteuerung (oder vielleicht Rauschsperre) durch eine Bewegung entlang der Richtung ei­ ner dritten Achse 39 eingestellt werden soll, die um fünf- undvierzig Grad (ein zweckmäßiger, aber nicht notwendiger Wert) zu den X- und Y-Achsen geneigt ist.
Man nehme an, daß die Vorrichtung eingeschaltet wurde und daß der Benutzer die Lautstärke einstellen möchte. Vorläu­ fig nehmen wir ferner an, daß kein vorläufiger Modusaus­ wahlprozeß vorliegt, der benötigt wird, um anzugeben, daß die Y-Achse 38 die Lautstärke darstellen soll und nicht beispielsweise den Tag des Monats. Beispielsweise kann es sein, daß die Y-Achse 38 bei dieser Vorrichtung immer eine Lautstärkenachse ist und niemals für einen anderen Steuer­ parameter verwendet wird. Wie dem auch sei, der Benutzer setzt seine Fingerspitze auf die Pseudo-Rollkugel. Das Kor­ relationsverlustsignal 40 verschwindet, und die Vorrich­ tungssteuerschaltung 11 wird somit gewarnt, daß eine be­ stimmte Benutzersteueraktivität bevorsteht. An diesem Punkt lag bzw. liegt wenig oder keine Bewegung zusätzlich zu der­ jenigen vor, die erforderlich ist, um einen Kontakt zwi­ schen dem Finger und der Pseudo-Rollkugel herzustellen, und wir können uns vorstellen, daß die "Position" der Finger­ spitze sich bei einem Ursprung 35 der diversen Achsen be­ findet. Der Benutzer beginnt nun, seinen Finger in die Y- Richtung zu bewegen. Es kann jedoch sein, daß es nicht nur genau in die Y-Richtung geht; die Bewegung dieses Fingers kann auch eine kleine X-Richtung-Komponente aufweisen, ob­ wohl es seine Absicht ist, die Lautstärke einzustellen, oh­ ne die Sendereinstellung zu ändern.
Nun wäre es möglich, dem Lautstärkeneinstellmechanismus le­ diglich ein ΔY-Bewegungssignal zuzuführen, während einem Abstimmungseinstellmechanismus ein Δ ⁴⁸⁹⁵⁵ ⁰⁰⁰⁷⁰ ⁵⁵² ⁰⁰¹⁰⁰⁰²⁸⁰⁰⁰⁰⁰00200012000285914884400040 0002010209797 00004 48836 X-Bewegungssignal zuge­ führt wird. Dies wäre die gleichzeitige Einstellung oder Änderung zweier Steuerparameter und würde, obwohl dies mög­ lich ist, den Benutzer wahrscheinlich verärgern, wenn nicht bestimmte Vorkehrungsmaßnahmen getroffen würden. Vorzugs­ weise werden also keine Steuerparameter geändert, bis eine Entscheidung bezüglich der Absicht des Benutzers getroffen ist. Dies kann dadurch bewerkstelligt werden, indem ange­ fordert wird, daß ein Schwellwert für akkumulierte ΔYs vor­ liegt, der von einem geeignetermaßen niedrigen akkumulier­ ten Wert von ΔXs begleitet ist. Diese Vorstellung liegt der Bedeutung des Kastens 36, der um den Ursprung 35 mittig an­ geordnet ist, zugrunde. Unser Benutzer bewerkstelligt eine ausreichende ΔY-Bewegung, um die Lautstärkenschwelle zu er­ füllen, während er die ΔX-Akkumulation niedrig hält, und das System entscheidet, daß Lautstärkeneinstellungen ange­ bracht sind. An diesem Punkt beginnt es, mit Vorzeichen versehene Werte von ΔY zu entsprechenden Inkrementen und Dekrementen der Lautstärkensteuereinstellung umzuwandeln und ignoriert ΔXs einfach, während es die Sendereinstellung oder die Toneinstellung nicht ändert.
Innerhalb kurzer Zeit wird die gewünschte Lautstärkenein­ stellung erreicht. An diesem Punkt ist der Prozeß des Än­ derns der Lautstärke abgeschlossen, wie entweder dadurch angezeigt wird, daß der Benutzer den Finger von der Pseudo- Rollkugel abnimmt oder daß er den Finger auf die Pseudo- Rollkugel drückt, um den Schalter 16/26 zu aktivieren.
Nun gibt es eine Anzahl verwandter Alternativen, die wir erörtern sollten. Wir beginnen mit dem Thema des vorherge­ henden Abschnitts: Abschließen der Einstellung. Es kann sein, daß eine positive Ratifizierung in Form eines Akti­ vierens eines Schalters durch Druck von dem Finger erfor­ derlich ist. Dies ist frei von unerwarteten Artefakten, es ist jedoch ein zusätzlicher Vorgang. Andererseits kann ein potentielles Problem bezüglich eines einfachen Abhebens des Fingers darin bestehen, daß eine bestimmte unbeabsichtigte zusätzliche Bewegung vorliegen kann, die durch den Bewe­ gungswandler gesehen wird, während das Abheben vor sich geht, bevor jedoch das Korrelationsverlustsignal 40 erzeugt wird. Dies kann ein Problem sein oder auch nicht, je nach­ dem, wie die Dinge eingerichtet sind. Man nehme beispiels­ weise an, daß ein "Schlag" der Fingerspitze entlang der Pseudo-Rollkugel ein ΔY von beispielsweise eintausendvier- undzwanzig (210) Zählwerten erzeugt. Man nehme an, daß je­ doch lediglich 25 = 32 einzelne Lautstärkepegel vorliegen. Dann liegen ungefähr zweiunddreißig Zählwerte pro Lautstär­ kepegel vor, wobei dieses Quantisieren ausreichend ist, um das Problem zu kaschieren, wenn der Benutzer einigermaßen vorsichtig ist. Man nehme beispielsweise an, daß der Benut­ zer die einzelnen Lautstärkeänderungen wahrnehmen kann und direkt nach einer Änderung aufhört, den Finger zu bewegen. Dann kann er durchaus ein Sechzehn-Zählwerte-Fenster auf jeder Seite der gegenwärtigen Einstellung aufweisen, um et­ waige störende ΔY zu absorbieren, und diese gewünschte der­ zeitige Einstellung unverändert belassen, wenn der Finger zurückgezogen wird.
Wenn andererseits mehrere Schläge benötigt würden, um den gesamten Einstellungsbereich mit einer gewünschten Auflö­ sung abzudecken, dann könnte ein Entfernen des Fingers den Einstellvorgang nicht abschließen, sondern lediglich auf­ schieben, und eine Aktivierung des Schalters 16/26 wird wahrscheinlich gebraucht, um den Abschluß der Einstellung anzugeben. Eine ähnliche Situation liegt vor, wenn kein Quantisieren der Abbildung zwischen dem Bewegungssignal und dem Steuerparameter vorliegt oder wenn eine sehr hohe Auf­ lösung verlangt wird. Um zu erreichen, daß der eingestellte Steuerparameter "sich nicht vom Fleck rührt", während der Finger entfernt wird, kann es nötig sein, den Einstellvor­ gang abzuschließen, ohne die Möglichkeit eines Erfassens einer Störbewegung während des Zurückziehens zu bieten (d. h. durch Aktivieren eines Schalters).
Eine Erfassung, daß ein Auszeit-Zeitraum abgelaufen ist (beispielsweise eine Sekunde, beginnend mit der letzten Än­ derung, die an dem Steuerparameter vorgenommen wurde), könnte ebenfalls verwendet werden, um die Einstellung abzu­ schließen. Um die Einstellung wiederaufzunehmen, könnte man dann den Finger abheben und wieder aufsetzen.
Um von einem Einstellen der Lautstärke zu einem Ändern der Sendereinstellung oder Kanalauswahl zu wechseln, schließt der Benutzer die Lautstärkeneinstellung ab und beginnt, den Finger in die X-Richtung zu bewegen. Wie zuvor wählt das System ein Sendereinstellen als den einzustellenden Vor­ richtungssteuerparameter aus und lehnt es ab, dem ΔY- Bewegungssignal Aufmerksamkeit zu schenken, nachdem Bedin­ gungen für eine akkumulierte Bewegung erreicht wurden (nun wird dies jedoch für die Sendereinstellungsachse entlang der X-Richtung erfolgen).
Man nehme nun an, daß der Ton (oder ein anderer Steuerpara­ meter, beispielsweise Rauschsperre) einzustellen ist und daß dies durch eine Bewegung entlang der Richtung der Achse 39 zu erfolgen hat. Wie zuvor klären wir zunächst die Ab­ sichten des Benutzers, indem wir die anfänglichen ΔXs und ΔYs, die erzeugt werden, untersuchen. Wenn eine Achse 39 vorhanden sein wird, berücksichtigen wir sie, indem wir er­ fassen, daß, für aufeinanderfolgende Paare von ΔX und sei­ nem zugeordneten ΔY, die Komponenten eines jeden solchen Koordinatenpaares jeweils im Wert "nahe beieinander lie­ gen". (Es gibt mehrere Arten, wie dies bestimmt werden könnte: z. B. daß der absolute Wert ihres Unterschiedes ge­ ringer ist als ein ausgewählter Prozentsatz des absoluten Wertes ihres Durchschnitts.) Nachdem dieses Kriterium er­ füllt ist, wird die Entscheidung getroffen, daß der Ton (Rauschsperre) einzustellen ist, gemäß einer Verschiebung der Achse 39. Man könnte tatsächliche Entfernungen entlang dieser Achse mit der Entfernungsformel berechnen, aber dies ist wahrscheinlich unnötig, da entweder ΔX oder ΔY statt dieser Entfernung verwendet werden könnte. Das Schlimmste, was eventuell benötigt wird, ist, die Proportionalität zwi­ schen beispielsweise ΔX und der Änderung des Tonsteuerpara­ meterwerts einzustellen (beispielsweise um eine wahrgenom­ mene Empfindlichkeit zu bewahren), da ΔX nicht gleich der inkrementalen Entfernung entlang der Achse 39 sein wird: ΔX ist statt dessen kleiner und ist zu der inkrementalen Ent­ fernung entlang der Achse 39 lediglich proportional.
Es sei nun auf Fig. 6 verwiesen, die ein vereinfachtes Flußdiagramm 41 einer Aktivität zur Unterstützung des Ge­ genstands der Fig. 5 ist. Das Flußdiagramm 41 ist ein Bei­ spiel der vielen Möglichkeiten, wie eine solche Unterstüt­ zungsaktivität implementiert werden kann. Es beginnt, wenn die Entscheidung getroffen wird, ΔX und/oder ΔY zu verwen­ den, um den Wert eines bestimmten Steuerparameters einzu­ stellen, was durch das START-Oval 42 dargestellt ist. Das erste, was getan wird, erfolgt bei Schritt 43, wo die Va­ riablen ΣΔX und ΣΔY jeweils auf Null eingestellt werden. Daraufhin werden bei Schritt 44 Werte für ΔX und ΔY von dem Bewegungswandler 10 (von dem wir annehmen, daß er die ganze Zeit und asynchron bezüglich des Flußdiagramms 41 läuft) akzeptiert werden. In Schritt 45 werden diese Inkremental­ bewegungswerte jeweils zu ΣΔX und ΣΔY akkumuliert. Dies erfolgt, um das Konzept der Region 36 in Fig. 5 zu imple­ mentieren, wo ein bestimmtes minimales Maß an Bewegung er­ forderlich ist, bevor eine Entscheidung bezüglich dessen getroffen werden kann, welcher Steuerparameterwert einzu­ stellen ist.
Dieser Entscheidungsfindungsprozeß beinhaltet eine Schlei­ fe, die den Schritt 44 eines Akzeptierens eines Abtastwerts und den Akkumulationsschritt 45 umfaßt. Am unteren Ende der Schleife befinden sich Qualifikationsmerkmale 46 und 47, wo bestimmt wird, ob eine der Akkumulationen zu einem Minimal­ schwellbetrag angestiegen ist, der einem Verlassen der Re­ gion 36 entspricht.
Wenn die Antwort auf eines der Qualifikationsmerkmale 46 und 47 JA lautet, dann bestimmen die nachfolgenden Reihen von Qualifikationsmerkmalen 48, 49 und 50, welche der je­ weiligen Achsen 37, 38 und 39 die Bewegung der Fingerspitze darstellt. Diese Qualifikationsmerkmale führen eine grobe Charakterisierung durch, die im wesentlichen auf eine Mo­ dusauswahl hinausläuft. Es ist jedoch vielleicht am besten, wenn die drei möglichen "Modi" (die "JA"-Wege für die Qua­ lifikationsmerkmale 48, 49 und 50) nicht eine echte Teilung sind, und daß ein viertes Ergebnis ("NEIN" an dem Qualifi­ kationsmerkmal 50), das ein unerkanntes Eingangssignal ist (im wesentlichen eine "Keines-Der-Obigen"-Situation) be­ reitgestellt wird. Das Ergebnis ist eine benutzerfreundli­ chere Benutzerschnittstelle.
Wir haben auch einen Fall von drei Steuerparametern ge­ zeigt, der mit der Fig. 5 übereinstimmt. Es könnten mehr Parameter vorliegen. Das heißt, Fig. 5 zeigt eine Achse 39, die den ersten und dritten Quadranten besetzt; es könnte ohne weiteres eine vierte Steuerparameterachse vorliegen, die senkrecht zur Achse 39 ist und die den zweiten und vierten Quadranten besetzt. Es könnten auch Steuerparame­ terachsen vorliegen, die um dreißig und sechzig Grad zu der X-Achse geneigt sind, obwohl es an einem bestimmten Punkt für den Benutzer schwierig wird, seine gewünschte Auswahl genau zu treffen. Solche Möglichkeiten würden in der Be­ schaffenheit der Tests in der Serie von Qualifikationsmerk­ malen, die den Serien 48, 49 und 50 entsprechen, reflek­ tiert.
Desgleichen könnten wir genauso gut lediglich zwei oder vielleicht lediglich eine Steuerparameterachse haben. Das heißt, das Qualifikationsmerkmal 50 (und das zugeordnete Segment 56 für den JA-Weg) könnte verschwunden sein, und der NEIN-Weg des früher in der Sequenz vorkommenden Quali­ fikationsmerkmals (49) führt dahin, wohin der NEIN-Weg für das Qualifikationsmerkmal 50 führt. Was das betrifft, wohin dieser NEIN-Weg (beispielsweise von dem Qualifikationsmerk­ mal 50) führt, zeigen wir zwei Möglichkeiten des "Keines- Der-Obigen"-Falls: Wege 58 und 59. Der Weg 59 ist viel­ leicht versöhnlicher und läuft darauf hinaus, eine nicht­ konforme Eingabe zu ignorieren und es dem Benutzer zu er­ möglichen, es noch einmal zu versuchen. Der Weg 58 bricht den Versuch, in den Steuerparameterwert-Einstellprozeß ein­ zutreten, im wesentlichen ab. Man könnte sogar ein Misch- Schema haben, das aufeinanderfolgende NEIN-Austritte aus dem Qualifikationsmerkmal 50 verfolgt und den Weg 59 bei­ spielsweise für die ersten beiden solchen Austritte und den Weg 58 für einen dritten verwendet.
Um die Erörterung der Fig. 6 abzuschließen, beachte man, daß jeder der JA-Wege für die Qualifikationsmerkmale 48, 49 und 50 zu einem jeweiligen Segment 51, 55 bzw. 56 führt. Diese Segmente implementieren in der Tat den Einstellvor­ gang für den Wert des ausgewählten Steuerparameters. Man betrachte das Segment 51, das den Wert eines Steuerparame­ ters Nr. 1 (z. B. Sendereinstellung in Fig. 5) einstellt. Es besteht aus einer Schleife, an deren oberem Ende sich ein Schritt S2 AKZEPTIERE ABTASTWERT befindet. Der folgende Schritt S3 nimmt das ΔX und verwendet ein gewisses f(ΔX), um den Wert des Steuerparameters Nr. 1 zu modifizieren. Wenn auch visuelle oder angezeigte Indizien zu modifizieren wären, dann würde diese Aktivität auch davon angetrieben, was bei Schritt S2 passiert. (Man beachte, daß im Segment 55 g(ΔY) den Wert des Steuerparameters Nr. 2 modifiziert und daß f und g gleich oder unterschiedlich sein können, je nach Bedarf.) Nach der Modifizierung des Werts des Steuer­ parameters kehrt das Qualifikationsmerkmal 54 zu dem oberen Ende der Schleife (Schritt S2) über seinen NEIN-Weg zurück, wenn keine Abgrenzungseinrichtung erfaßt wird. Dies ermög­ licht, daß die Modifizierungsaktivität fortdauert, bis sie elegant beendet wird, gemäß den Regeln der bestimmten in Gebrauch befindlichen Benutzerschnittstelle. Die Begren­ zungsaktion oder das Begrenzungsereignis könnte beispiels­ weise eine Aktivierung des Schalters 16/26, ein aktives Korrelationsverlustsignal 40 oder das Ablaufen einer Aus­ zeit seit dem letzten ΔX sein. Auf eine Erfassung des Be­ grenzungsereignisses hin geht der JA-Weg zu dem ERLEDIGT- Oval 57 über, das wahrscheinlich einen bestimmten Zustand in einem weiter äußeren Abstraktionsniveau in der Benutzer­ schnittstelle als Ganzes darstellt.
Schließlich kann die Anordnung der Fig. 6 modifiziert wer­ den, um eine Auswahl von Posten in einem Menü ohne die Ver­ wendung eines separaten Bildschirmzeigers bereitzustellen. Der Leser mag sich vielleicht erinnern, daß, bevor mausbe­ triebene Betriebssysteme vom Fenstertyp vorherrschend wa­ ren, es eine Möglichkeit gab, unter Verwendung von Pfeilta­ sten, die vielleicht durch Tabulator- und hochgestellte Ta­ bulatortasten ergänzt waren, in einem Menü zu navigieren. Die Posten waren in Reihen und Spalten angeordnet, und der ausgewählte Posten war markiert. Hewlett_Packard Co. ver­ wendete in den frühen 1980ern für seinen PAM (Personal App­ lication Manager - persönlicher Anwendungsmanager) ein Schema wie dieses, das entweder unter CPM oder DOS lief. Auf jeden Fall lautet der interessierende Gedanke hier, daß ΔX und ΔY (gemäß den Schritten 43-47) ordnungsgemäß quan­ tisiert werden können, um die notwendigen "Pfeiltasten"- Aktivierungen zu erzeugen, um in einem angezeigten Menü zu navigieren, und ohne das Erfordernis einer vollständig pi­ xelisierten Anzeige und eines mausähnlichen Bildschirmzei­ gers, der auf der Pixelebene beweglich ist. Eine Art und Weise, wie dies ermöglicht werden könnte, besteht darin, daß (modifizierte Versionen von) f und g ausgewählte Mengen an Bewegung akkumulieren und daraufhin "Links-/Rechts- und Nach-Oben-/Nach-Unten-Pfeil"-Operationen ausgeben. Dieser Typ einer vorläufigen Menünavigation könnte eine Art und Weise sein, wie ein Satz von Steuerparametern (aus einer Mehrzahl derselben) für eine spätere Modifizierung über die (nichtmodifizierte) Benutzerschnittstelle der Fig. 6 zu­ nächst vor der Zeit ausgewählt wird.
Es sei nun auf Fig. 7 verwiesen, bei der ein linkshändiger Benutzer eine Telefonnummer mit der Spitze des Zeigefingers 62 seiner linken Hand wählt, während er ein drahtloses Te­ lefon 28 (es könnte genauso gut ein anderer Typ von Vor­ richtung sein) in seiner rechten Hand 61 hält. Dazu wird die Spitze des Fingers 62 über die Pseudo-Rollkugel (oder einen anderen Fingerspitzenverfolger) auf eine Weise be­ wegt, die die Form des zu erkennenden Schriftzeichens nach­ fährt. In der Figur ist die Pseudo-Rollkugel nicht sicht­ bar, da sie von der Fingerspitze 62 bedeckt ist. Bei diesem Beispiel nehmen wir an, daß jegliche benötigte vorherige Operation, um das Telefon 28 in den Zustand zu versetzen, in dem es bereit ist, eine Telefonnummer zu akzeptieren, bereits durchgeführt wurde. (Das sollte nicht viel sein, da ein Arbeiten mit Telefonnummern, die von einer Bedienperson eingegeben wurden, schließlich eine grundsätzliche Sache ist, die Telefone tun. Trotzdem tun sie heutzutage auch an­ dere Dinge, und vielleicht muß einer dieser anderen Modi beendet werden, bevor ein Wählen als die durchzuführende Operation verstanden wird.) Auf jeden Fall schlägt der Be­ nutzer die Ziffern an, und sie erscheinen in der Anzeige 63, von denen manche 64 und 65 sind. Die Nummer, die gerade angeschlagen wird, legt nahe, daß unser Benutzer an einer Auskunft für die Region interessiert ist, die Denver, Colo­ rado, umfaßt. Es ist alles gutgegangen, mit der Ausnahme, daß vielleicht jemand ihn am Ellbogen stieß, als er die letzte "2" anschlug, mit dem Ergebnis, daß die Eingabebewe­ gung in dem Maße verzerrt war, daß das Telefon die Ziffer nicht erkennen konnte. Um darauf hinzuweisen, zeigt das Te­ lefon ein bestimmtes Schriftzeichen 66 an, bei dem wir wählten, es als ein Fragezeichen in umgekehrter Bildschirm­ darstellung wiederzugeben, obwohl es jede beliebige Form aufweisen könnte. Es könnte beispielsweise auch einfach ein blinkendes Fragezeichen sein, oder ein beliebiges anderes Symbol, auf das man sich einigte, um einen durcheinanderge­ ratenen Stand der Dinge anzuzeigen. Außerdem, obwohl wir es nicht gezeigt haben, verwählte er sich anfänglich bei der Vorwahl, wobei er statt "970" "990" anschlug. Er sah dies jedoch sofort und verwendete einen Rückwärtsschrittmecha­ nismus (unten beschrieben), korrigierte den Fehler, wonach er den Rest der Nummer wählte, wie gezeigt ist.
Es sei nun auf Fig. 8 verwiesen, wo wir eine allgemeine Art und Weise beschreiben, wie dieser Typ von Operation unter Verwendung einer Pseudo-Rollkugel oder eines anderen Fin­ gerspitzenverfolgers implementiert werden kann. Zu Beginn möchten wir auf mehrere Dinge hinweisen. Erstens kann es sein, daß die Vorrichtung kein Telefon ist; sie kann ein in der Hand gehaltenes Funk-Sende/Empfangsgerät der "Walkie- Talkie"-Sorte (GMRS, FRS, CB oder sonstiges), ein GPS oder ein PDA sein, ist jedoch nicht darauf beschränkt. Sie könn­ te eine Kamera sein, und es wird ein Bildertext zu einem Bild hinzugefügt. Als nächstes zeigen wir eine Ziffernein­ gabe. Es wird ohne weiteres einleuchten, daß eine Eingabe von willkürlichen Schriftzeichenfolgen genauso nützlich und möglich ist, je nach dem verwendeten Vorrichtungsmerkmal. Beispielsweise könnte es möglich sein, auch bei einem Tele­ fon, statt der Telefonnummer der Mutter oder der Ehefrau "MOM" (Mama) oder "KAREN" zu wählen, natürlich vorausge­ setzt, daß das Telefon Tabellen von Beschriftungen versus Telefonnummern unterstützt und daß es ermöglicht, daß eine direkte Beschriftungseingabe die Stelle einer Nummer ein­ nimmt (und daraufhin die Nummer nachschaut und sie statt dessen verwendet).
Als nächstes zeigt das Paar von schrittweise koordinierten Flußdiagrammen, die wir nun in Fig. 8 betrachten, lediglich eine Art und Weise an, wie der Typ von System, für das wir uns interessieren, implementiert werden kann. Überdies wei­ sen Flußdiagramme eine gewisse Unzulänglichkeit auf, wenn sie für den vorliegenden Zweck verwendet werden. Die grund­ legende Eigenschaft eines Flußdiagramms besteht darin, daß sie einen Finger daraufsetzen und sagen "hier sind wir", und dann bewegen sie diesen Finger gemäß dessen, was das Flußdiagramm ermöglicht. Es befinden sich NIEMALS zwei Fin­ ger gleichzeitig auf einem bestimmten Flußdiagramm! Ein Flußdiagramm funktioniert am besten, wenn es die sequenti­ ellen Aspekte eines einzigen vereinheitlichten Prozesses von programmierten Mechanismen des Typs "Holen und Ausfüh­ ren" (fetch and execute) darstellt (Von-Neumann-Maschinen). Eine unmittelbare Antwort auf ein asynchrones Ereignis wird durch ein Flußdiagramm nicht gut dargestellt, insbesondere wenn verschiedene Antworten auf verschiedene Ereignisse vorliegen. Eine Kommunikation zwischen separaten Flußdia­ grammen ist hilfreich, und wir wollen annehmen, daß zwi­ schen den Flußdiagrammen der Fig. 8 ein solcher Mechanismus herrscht. Trotzdem wird es in einem echten Flußdiagramm un­ übersichtlich, wenn eine große Menge an Informationen über einen vorherigen Zustand benötigt wird, um Entscheidungen zu treffen, oder asynchrone externe Ereignisse können un­ mittelbare Aktivitäten hervorrufen.
Solche Umgebungen werden oft am besten durch (eine oder mehrere) Zustandsmaschinen bedient, deren Darstellungen Zu­ standsdiagramme sind. Ein Zustandsdiagramm unterscheidet sich grundlegend von einem Flußdiagramm, genauso wie sich eine Zustandsmaschine grundlegend von einer Holen-Und- Ausführen-Maschine unterscheidet. Wer häufig mit Zustands­ maschinen zu tun hat, kennt die Grenzen eines strikten Flußdiagramms und stimmt wohl zu, daß ein Zustandsdiagramm für eine Zustandsmaschine im Grunde kein striktes sequen­ tielles Flußdiagramm ist. Es ist in der Tat wahrscheinlich, sogar ziemlich wahrscheinlich, daß eine detaillierte Be­ schreibung einer tatsächlichen Implementierung des in den Flußdiagrammen der Fig. 8 beschriebenen Materials mehrere Zustandsmaschinen umfassen würde, und vielleicht lediglich einen oder sogar gar keinen programmierten Mechanismus vom Typ "Holen und Ausführen" (Von-Neumann-Maschinen), der durch ein striktes Flußdiagramm exakt dargestellt wird. Trotzdem sind die Flußdiagramme der Fig. 8 im allgemeinen dennoch nützlich und informativ, da sie auf einem relativ hohen Abstraktionsniveau arbeiten, das dazu tendiert, von der Beschaffenheit her sequentiell zu sein. Überdies weisen sie den Vorteil der Kürze auf, und daß uns die Finger nicht ausgehen!
Ohne weitere Umschweife untersuchen wir also das Paar 67 von Flußdiagrammen, die in der Fig. 8 gezeigt sind. Eines des Paars (das auf der linken Seite) ist ein Flußdiagramm, das eine mögliche Benutzeraktivität darstellt. Das Flußdia­ gramm auf der rechten Seite stellt eine entsprechende Akti­ vität durch die Maschine oder Vorrichtung dar, während bei­ spielsweise eine Benutzeraktivität der in Verbindung mit Fig. 7 beschriebenen Art stattfindet. Die Korrespondenz wird durch die Regionen 68-74 angegeben, die durch die horizontalen gestrichelten Linien, die quer durch die Figur laufen, erzeugt werden. Somit wird beispielsweise eine Ak­ tivität 75 des Benutzer-Flußdiagramms von einer Aktivität 76 des Vorrichtung-Flußdiagramms begleitet. Es wird ein­ leuchten, daß eine Aktivität wie beispielsweise die Aktivi­ tät 76, "NIMM ANSCHLÄGE AUF" gewiß ein umfangreicher Prozeß an sich ist, der vollständig ist und Unterprozesse auf­ weist, die selbst aus Teilprozessen bestehen, und so wei­ ter. Es gibt verschiedene Strategien, die für die Schrift­ zeichenerkennung, die in den Aktivitäten 76 und 78 enthal­ ten ist, verwendet werden können, und der Leser wird zum Zwecke weiterer Informationen darüber, wie diese Prozesse implementiert werden können, auf die hierin aufgenommenen Patentschriften verwiesen. Wir nehmen nun an, daß der Be­ nutzer seine Fingerspitze im wesentlichen auf dieselbe Wei­ se bewegt, auf die die Spitze eines Kugelschreibers oder Bleistifts verwendet werden würde, um einzelne Ziffern oder andere Schriftzeichen zu schreiben. Das heißt, daß eine Zeichenfolge von Schriftzeichen nicht durch ein Verbinden von Liniensegmenten zusammengefügt wird, wie bei einer ge­ schriebenen Schrift, sondern statt dessen präsentiert wird, als ob es sich um einzelne gedruckte Schriftzeichen handel­ te, die sich nicht berühren. Die Frage, ob bestimmte Schriftzeichen auf eine spezielle Art und Weise angeschla­ gen werden müssen (um bei der Identifizierung behilflich zu sein) oder nicht, überlassen wir der individuellen Imple­ mentierung, während wir danach streben, eine Gesamtbenut­ zerschnittstelle bereitzustellen, die ein hohes Maß an Fle­ xibilität bezüglich dieser und damit verbundenen Fragen to­ leriert. Insbesondere möchten wir nicht verlangen, daß die Fingerspitze während des Anschlagens eines Schriftzeichens niemals die Bilderzeugungsoberfläche verläßt: Vielleicht tut sie es, vielleicht auch nicht. Was damit gemeint ist, ist, daß wir vorsichtig sein müssen, wie wir Übergänge be­ züglich des Korrelationsverlustsignals 40 verwenden. Insbe­ sondere hängt die Frage, ob der Schriftzeichenerkennungs­ prozeß das Signal 40 verwendet oder nicht, und wenn ja, wie er es verwendet, von diesem Prozeß ab. Wenn wir also die Schriftzeichenerkennung als eine Black-Box-Komponente in einem Schriftzeichenfolge-Eingabeprozeß behandeln, werden eventuell gewisse Kontextinformationen benötigt, um bei ei­ ner korrekten Interpretation von Übergängen des Korrelati­ onsverlustsignals 40 behilflich zu sein, um beispielsweise eine Eingabe zu begrenzen und angezeigte Indizien, die das darstellen, was bereits erkannt wurde, zu ratifizieren.
In der Folge nehmen wir an, daß sich die Vorrichtung in ei­ nem Zustand befindet, in dem sie erwartet, daß der Benutzer ein Schriftzeichen anschlägt. Dies wird durch die Region 68 in Fig. 8 dargestellt. Was der Benutzer tut, ist, das Schriftzeichen anzuschlagen (Aktivität 75), während gleich­ zeitig die Vorrichtung diese Anschläge aufnimmt (Aktivität 76). In der Region 69 der Fig. 8 bestimmt die Vorrichtung, welches Schriftzeichen angeschlagen wurde, und sie plaziert es in der Anzeige (Aktivität 78), woraufhin der Benutzer es betrachten kann (Aktivität 77). Es kann wünschenswert sein, daß der Schriftzeichen-Erkennungsmechanismus bei diesem Vorgang dadurch unterstützt wird, daß der Benutzer seinen Finger von der Bildapertur am Ende des Schriftzeichens ab­ hebt. Nach einer ausreichenden Zeitdauer (länger als das Intervall zwischen Teilanschlägen) kann die Vorrichtung schlußfolgern, daß das Schriftzeichen fertiggestellt ist. Sie kann auch einen Zeitraum ohne eine erfaßte Bewegung für denselben Zweck verwenden (wobei sich jedoch der Finger im­ mer noch auf der Bildapertur befindet). Wenn die Vorrich­ tung beschließt, daß sie nicht bestimmen kann, daß ein le­ gitimes Schriftzeichen angeschlagen wurde, so zeigt sie ein bestimmtes Symbol an, das auf diese Bedingung hinweist und bei dem wir hier auswählten, daß es sich dabei um ein Fra­ gezeichen einer umgekehrten Bildschirmdarstellung (66) han­ delt.
Die Region 70 liefert einen Mechanismus dafür, mit einer nichterkannten Eingabe umzugehen. Die Vorrichtung lehnt es ab, ein nächstes Schriftzeichen an das Ende einer Zeichen­ folge aus erkannten Schriftzeichen einzugeben, wobei sie diverse Zeiger uninkrementiert läßt. Dem Benutzer mag es scheinen, als läge ein implizierter Rückwärtsschritt (Backspace) vor (81), da das Fragezeichen in umgekehrter Bildschirmdarstellung nicht in der Anzeige erscheint. Aber für den Schriftzeichenfolge-Erkennungsprozeß ist es ledig­ lich ein erneuter Versuch. Wir nehmen an, daß der Benutzer nach der Beendigung jedes Schriftzeichens seinen Finger ab­ hebt, so daß auf das Wiederaufsetzen der Fingerspitze nach den JA-Übergängen für die Qualifikationsmerkmale 79 und 80 hin die Vorrichtung das Fragezeichen der umgekehrten Bild­ schirmdarstellung von der Anzeige entfernt (Aktivität 82), der Benutzer einen implizierten Rückwärtsschritt (81) ein­ trägt und beide Flußdiagramme erneut in die Region 68 ein­ treten. Das "Wiederaufsetzen der Fingerspitze" wird selbst­ verständlich durch einen geeigneten Übergang bezüglich des Korrelationsverlustsignals 40 dargestellt.
Man nehme nun an, daß ein legitimes Schriftzeichen erkannt wurde und angezeigt wird. Es ist vielleicht immer noch nicht dasjenige, das der Benutzer beabsichtigte. Entweder schlug der Benutzer aus Versehen das falsche Schriftzeichen an, oder er war bei seiner Ausführung nachlässig, wobei er bewirkte, daß die Vorrichtung die falsche Antwort bekommt. Auf alle Fälle kann es der Benutzer ablehnen, das neue Schriftzeichen zu ratifizieren und statt dessen einen ech­ ten Rückwärtsschritt bewirken, so daß es durch das, was be­ absichtigt war, ersetzt werden kann. Dies ist der Gegen­ stand der Regionen 71 und 72 der Figur. Eine zweckmäßige Art und Weise, einen Befehl eines expliziten Rückwärts­ schritts darzustellen, ist ein "Antippen" der Fingerspitze der Pseudo-Rollkugel oder eines anderen Fingerspitzenver­ folgers. Ein Antippen bzw. ist ein kurzer Zeitraum eines im wesentlichen bewegungslosen Kontaktes, beispielsweise fünf­ zig bis einhundertfünfzig Millisekunden Länge, obwohl diese Dauer einstellbar sein könnte, genau wie das Intervall zum Erkennen eines "Doppelklicks" bei einem herkömmlichen mit Fenstern versehenen Betriebssystem. Ein Rückwärtsschritt könnte auch durch eine Aktivierung des Schalters 16/26 an­ gegeben werden, falls dies als zweckmäßiger erachtet wird. Was auch immer einen Rückwärtsschritt angibt, wenn er er­ folgt (Aktivität 83) und nachfolgend erfaßt wird, besteht die resultierende Aktivität 84 darin, ein Schriftzeichen in der Ausgabezeichenfolge zurückzubewegen, und das Schrift­ zeichen, über das die Zurückbewegung erfolgte, aus der An­ zeige zu entfernen. An diesem Punkt tritt man in Vorberei­ tung auf eine Eingabe des korrekten Schriftzeichens erneut in die Region 68 ein. Eine Serie von absichtlich beabstan­ detem Antipphandlungen (d. h. wobei ein Mindestzeitraum die­ selben trennt, damit sie nicht mit einem Doppelantippen verwechselt werden) würde als aufeinanderfolgende Rück­ wärtsschritte dienen. (Dies bedeutet, daß auch die Aktivi­ täten 76/78 ein zusätzliches Antippen erkennen müssen, die auftreten, bevor echte Anschläge erfaßt werden. Der Kürze halber haben wir derartige komplizierende Eigenschaften aus dem Flußdiagramm weggelassen. Jemandem, der diese Typen von System entwirft, ist klar, daß Zustandsmaschinen mit diesen Arten von kontextempfindlichen Fragen gut umgehen können.)
Eine weitere mögliche Aktion in der Region 71 besteht dar­ in, daß der Benutzer das Schriftzeichen, das er in der An­ zeige sieht, ratifiziert. Vorzugsweise besteht alles, was er tun muß, darin, einfach das nächste Schriftzeichen anzu­ schlagen, nachdem er seinen Finger für einen kurzen Zeit­ raum von der Bilderzeugungsapertur abgehoben hatte. Das heißt, daß, wenn das angezeigte Schriftzeichen nicht das Fragezeichen der umgekehrten Bildschirmdarstellung ist, ein nachfolgendes Auftreten des Korrelationsverlustsignals 40, das zumindest eine Mindestzeitdauer andauert, als eine im­ plizierte Ratifizierung angesehen werden kann. Dies ist be­ sonders zweckmäßig, da es ermöglicht, daß eine Sequenz von korrekt angeschlagenen und interpretierten Schriftzeichen ohne jegliche zusätzliche sinnfreie Lappalie eingegeben werden kann. Selbstverständlich könnte man es so einrich­ ten, daß Schriftzeichen durch eine zur Verfügung stehende oder ansonsten nicht verwendete Operation, beispielsweise ein Antippen, ein Doppelantippen oder eine Aktivierung des Schalters 16/26 ausdrücklich ratifiziert werden.
Eine dritte mögliche Aktion in der Region 71 besteht darin, daß der Benutzer mit der angezeigten Zeichenfolge zufrieden ist und wünscht, daß sie implementiert wird oder daß damit auf eine Art und Weise gearbeitet wird, welche auch immer für die vorliegende Vorrichtung geeignet ist. In dem Fall des Telefons der Fig. 7 kann er zum Beispiel wollen, daß die gerade eingegebene Telefonnummer gewählt wird. Das heißt, daß er die gesamte Zeichenfolge zu ratifizieren und eine bestimmte nächste Phase einer Vorrichtungsoperation einzuleiten wünschte. Eine bevorzugte Art und Weise, dies zu tun, besteht darin, daß der Benutzer einfach zweimal hintereinander antippt, wobei weniger als ein bestimmter Zeitraum zwischen den Antipphandlungen liegt (gemäß einem Doppelklick mit einer Maustaste). Alternativ dazu könnte eine Ratifizierung durch eine Aktivierung des Schalters 16/26 signalisiert werden, je nach Wunsch. Diese Aktivität ist der Gegenstand der Region 73 in Fig. 8, wo die Aktivi­ tät 88 das nächste Schriftzeichen in die Zeichenfolge ein­ speichert und als Antwort darauf, daß der Benutzer die Zei­ chenfolge ratifiziert hat (Aktivität 87) austritt (zu Akti­ vität 90). Nachdem die Zeichenfolge von Schriftzeichen ra­ tifiziert wurde, stellt schließlich die Region 74 die Ope­ ration der Vorrichtung bezüglich der Zeichenfolge (Aktivi­ tät 90) und das Betrachten (oder was auch immer) des Benut­ zers der nachfolgenden Ergebnisse oder des nachfolgenden Zustands (Aktivität 88) dar.
Wir sehen also, daß zwei Schriftzeichenerkennungsergebnisse und drei Steueroperationen oder -befehle bei einer Schrift­ zeicheneingabe durch ein Anschlagen der Schriftzeichen nützlich sind: angezeigte Versuchsschriftzeichen, ein ange­ zeigtes Fehler-Schriftzeichen-Symbol, ein Explizit- Rückwärtsschritt-Befehl, ein Impliziert-Schriftzeichen- Ratifizierung-Befehl und ein Explizit-Zeichenfolge- Ratifizierung-Befehl. Überdies ist ein Impliziert- Rückwärtsschritt-Befehl nützlich. Wir haben gesehen, wie diese auf eine kontextempfindliche Weise aus den folgenden primitiven Operationen implementiert werden können: Drücken auf die Bilderzeugungsapertur, um einen Schalter zu akti­ vieren, Antippen und Doppelantippen auf die Bildapertur, alle in Verbindung mit der Annahme, daß die Fingerspitze, die das Anschlagen vornimmt, zwischen den einzelnen Schriftzeichen abgehoben wird, und ohne eine Annahme dar­ über zu treffen, was in einem Schriftzeichen geschieht.
Es sind vielleicht einige abschließende Bemerkungen bezüg­ lich der Begriffe "Antippen" und "Doppelantippen" ange­ bracht. Wir oben definiert wurde, ist ein Antippen ein kur­ zer Zeitraum eines (im wesentlichen) bewegungslosen Kontak­ tes zwischen der Fingerspitze und dem Fingerspitzenverfol­ ger. Zwei Antipphandlungen innerhalb eines geeigneten In­ tervalls sind ein Doppelantippen. Man könnte sogar so weit gehen, ein Dreifachantippen zu implementieren. Sie könnte als eine gewisse Art von Neueinstellung definiert werden und wäre bei Ausführungsbeispielen nützlich, bei denen kei­ ne separate Taste oder kein separater Knopf vorliegt, die bzw. der für diese Funktion ohne weiteres zur Verfügung steht. Ein Beispiel könnte eine in der Hand gehaltene Vor­ richtung sein, die ein absolutes Minimum an mechanischen Steuerungen aufweist. Sie weist beispielsweise eine Pseudo- Rollkugel und eine Anzeige auf, und sonst nur wenig oder gar nichts. Sie könnte eine menügeführte Benutzerschnitt­ stelle aufweisen. Es ergibt sich die Frage: "Was tut der Benutzer, wenn er mitten in einen Menübaum oder einen ihm nicht vertrauten (und ihm dysfunktional erscheinenden) Mo­ dus gerät und er hoffnungslos verwirrt oder über alle Maßen frustriert wird. Er benötigt einen prompt anwendbaren und zuverlässigen Abbruchmechanismus, der eine Aktivität auf­ hebt und die Steuerung an ein vertrauteres Territorium zu­ rückgibt. Ein Dreifachantippen kann das Mittel sein, um ei­ nen solchen Abbruch einzuleiten. Ein Dreifachantippen ist leicht durchzuführen, erfordert keine speziellen: mechani­ schen Teile, und es ist unwahrscheinlich, daß es fälschli­ cherweise angewandt oder erkannt wird.
Bei einem System, das angeschlagene Schriftzeichen erkennt, von denen eines ein Punkt oder eine Periode ist, kann es dann notwendig werden, zwischen einem Antippen und dem an­ getippten Schriftzeichen, der der Punkt oder die Periode ist, zu unterscheiden. Dies kann ohne weiteres dadurch er­ folgen, daß die Zeitdauer, während der sich die Fingerspit­ ze in bewegungslosem Kontakt mit dem Fingerspitzenverfolger befindet, wahrgenommen wird. Wenn sie "kurz" ist, ist es ein Antippen, wohingegen es der Punkt oder die Periode ist, wenn sie länger als ein bestimmtes Maß ist.
Fig. 9 ist ein vereinfachtes Zustandsmaschinendiagramm 91 für einen Mechanismus, der verwendet werden kann, um zu entdecken, ob ein Antippen erfolgt ist. Die Annahmen lauten hier, daß eine Sammlung von Hardware-Betriebsmitteln vor­ liegt, die für diese Aufgabe reserviert werden können, zu­ sätzlich zu den Qualifikationsmerkmalen und solchen, die die eigentliche Zustandsmaschine sind. Von dieser Hardware ist nichts gezeigt, da ihre exakte Form von einer bestimm­ ten Implementierung abhängig wäre. Die angenommenen Be­ triebsmittel sind einige Register, um Werte der X- und Y- Bewegungssignale zu halten, ein Zeitgeber und diverse arithmetische Vergleichsschaltungen.
Ein START-Signal, das einem Einschalten oder einer größeren Systemneueinstellung zugeordnet ist, bewirkt einen Übergang 92 zu dem Zustand 93, der ein RUHE-Zustand ist, der so lan­ ge aufrechterhalten wird (Übergang 94), wie das Signal 40 (das Korrelationsverlustsignal) präsent bleibt. Schließlich (oder sogar am Beginn) legt der Benutzer seinen Finger auf die Bildeingabeapertur, wonach das Signal 40 zur gegebenen Zeit nicht mehr ausgeübt wird. Dies bewirkt einen Übergang 95 zum Zustand 96, wo die aktuellen X- und Y-Bewegungswerte als "anfängliche X- und Y-Bewegungswerte" gespeichert wer­ den und ein Antipplängenzeitgeber wieder auf Null einge­ stellt wird. Im Anschluß daran erfolgt ein Übergang 97 zum Zustand 98, wo ein Antipplängenzeitgeber gestartet wird und die aktuellen X- und Y-Bewegungswerte als "neueste X- und Y-Bewegungswerte" gespeichert werden.
Es gibt lediglich eine Art und Weise, im Zustand 98 zu verbleiben: das Signal 40 bleibt falsch (fortgesetzte Kor­ relation - Finger ist noch da), und der Antipplängenzeitge­ ber weist einen kleinen Wert auf. Dies bedeutet lediglich, daß man noch nicht sagen kann, ob ein Antippen vorliegen wird oder nicht. Während des Verbleibens im Zustand 98 fährt der Antipplängenzeitgeber fort zu inkrementieren, und es werden weiterhin neueste X- und Y-Bewegungswerte gespei­ chert.
Es gibt drei Arten, den Zustand 98 zu verlassen. Der frühe­ ste wäre der Übergang 110, der stattfindet, wenn das Signal 40 erneut ausgeübt wird (Finger abgehoben), jedoch der An­ tipplängenzeitgeber ziemlich klein ist. Dieser Fall ist als eine wahrscheinliche anomale Bedingung gezeigt; beispiels­ weise weist der Antipplängenzeitgeber einen Zählwert von Eins auf, was vielleicht einhundert Mikrosekunden dar­ stellt. Niemand hat einen Finger, der so schnell ist, so daß es wahrscheinlich ist, daß etwas nicht stimmt, obwohl, so wie diese Zustandsmaschine 91 gezeichnet ist, die erfaß­ te Anomalie einfach ignoriert wird.
Die zweite Art und Weise, den Zustand 98 zu verlassen, er­ folgt über den Übergang 100, der verursacht wird, wenn der Zählwert in dem Antipplängenzeitgeber zu groß wird. Dann kann dies kein Antippen sein, und es ist höchstwahrschein­ lich eine regelmäßige Operation. Der Übergang erfolgt zu dem Zustand 107, der im wesentlichen ein weiterer RUHE- Zustand ist, der durch einen Übergang 108 (fortgesetzte Korrelation) aufrechterhalten wird, bis die Korrelation verloren ist und der Übergang 109 erneut in den Zustand 93 eintritt. Der Zustand 107 kann als ein RUHE- oder WARTE- Zustand beschrieben werden, da wir annehmen, daß irgendein anderer unabhängiger Mechanismus oder Prozeß die Primärant­ wort auf die X- und Y-Bewegungssignale durchführt (z. B. den Wert eines Vorrichtungssteuersignals einstellt).
Die dritte Art, den Zustand 98 zu verlassen, erfolgt über den Übergang 101 zum Zustand 102, der erfolgt, wenn das Si­ gnal 40 wiederum ausgeübt wird und der Antipplängenzeitge­ ber einen Wert aufweist, der sich im Bereich befindet. Dies bedeutet, daß potentiell ein Antippen vorgelegen hat. Um dies herauszufinden, führt der Zustand 102 die notwendige Arithmetik durch, um die Ausmaße an Bewegung bei X und Y seit dem Beginn des potentiellen Antippens zu entdecken. Dies wird durch ein Verwenden der im Zustand 96 gesicherten "anfänglichen" Bewegungswerte und der neuesten der im Zu­ stand 98 gesicherten "neuen" Bewegungswerte bewerkstelligt. Wenn die Bewegung gering genug ist, ist sie ein Antippen, und der Übergang 104 führt zum Zustand 105, wo ein ANTIPPEN-Signal an das System ausgegeben wird. Danach führt der Übergang 106 zurück zu dem RUHE-Zustand 93, um auf das nächste Ereignis zu warten. Wenn andererseits durch die Arithmetik des Zustands 102 zuviel Bewegung entdeckt wurde, so lag kein gültiges Antippen vor, und der Übergang 103 führt direkt zu dem RUHE-Zustand 93 zurück, wobei die Aus­ gabe des ANTIPPEN-Signals umgangen wird.
Man könnte sich vorstellen, daß ein Antippen den Geringe- Bewegung-Test des Zustands 102 und den Übergang 104 nicht benötigt und statt dessen lediglich auf einer Zeitgebung beruht. Dies könnte bei Systemen, die keine Schriftzeichen­ erkennung durchführen, angemessen funktionieren, obwohl es die Fähigkeit des Benutzers, eine Serie von schnellen und kurzen "Einstellungen" auf einen gesteuerten Wert dutchzu­ führen, von vornherein ausschließen würde, da sie ansonsten einem Antippen ähneln würden. Systeme, die eine Schriftzei­ chenerkennung durchführen, können leicht viele Zwischener­ eignisse aufweisen, die sich als ein Antippen qualifizieren würden, wenn sie nicht von vornherein durch eine Minimal- oder Nicht-Bewegung-Anforderung ausgeschlossen werden.
Ferner gibt ein Zustandsdiagramm 91 eine Anzahl von Über­ gängen (94, 99, 108) an, die bei einer tatsächlichen mini­ mierten Maschine nicht als echte Übergänge erscheinen wür­ den, sondern statt dessen lediglich abwesend wären (sie stellen einen Fall dar, bei dem keine Aktion bzw. kein Han­ deln benötigt wird - kein Übergang). Wir zeigen dieselben hier der Vollständigkeit halber, und um über ein "netteres, angenehmeres" Zustandsdiagramm zu verfügen.
Wir haben auch beschrieben, wie ein Doppelantippen nützlich sein könnte. Fig. 10 ist ein vereinfachtes Zustandsmaschi­ nendiagramm 111, das beschreibt, wie ein Doppelantippen er­ faßt werden kann, wenn gegeben ist, daß die Zustandsmaschi­ ne der Fig. 9 verfügbar ist. Das Zustandsmaschinendiagramm 111 der Fig. 10 nimmt an, daß ein neu einstellbarer Zeitge­ ber und eine arithmetische Vergleichsschaltungsanordnung verfügbare Betriebsmittel sind. Ferner wird eine geringfü­ gige Modifizierung der Fig. 9 benötigt, wenn die Zustands­ maschine 111 der Fig. 10 vorhanden sein soll. Diese Modifi­ zierung besteht darin, daß das in dem Zustand 105 ausgege­ bene ANTIPPEN-Signal nicht an das Gesamtsystem ausgegeben wird, sondern statt dessen lediglich an das die Zustandsma­ schine implementierende Zustandsdiagramm 111 gesandt wird. Diese Zustandsmaschine entscheidet, ob ein Einfachantippen oder ein Doppelantippen vorliegt, und gibt daraufhin an das Gesamtsystem ein einzelnes Einfachantippen-Signal oder ein einzelnes Doppelantippen-Signal aus, je nachdem. Der Grund dafür liegt selbstverständlich in der Annahme, daß beab­ sichtigt ist, daß ein einfaches ein Antippen und ein Dop­ pelantippen sich gegenseitig ausschließende Ereignisse sind, und daß wir nicht möchten, daß die einem anfänglichen Antippen zugeordnete Aktivität beginnt, bevor wir sicher sind, daß nicht ein Doppelantippen vorliegt. Natürlich könnte es anders sein, beispielsweise könnte ein Antippen RÜCKWÄRTSSCHRITT sein, und Doppelantippen könnte NEUEINSTELLEN sein. Dann würde es eventuell nichts ausma­ chen, daß ein RÜCKWÄRTSSCHRITT eingeleitet wurde und später mit einem NEUEINSTELLEN zunichte gemacht wurde. Aber es würde sicherlich etwas ausmachen, wenn ein Antippen RÜCKWÄRTSSCHRITT wäre und ein Doppelantippen RATIFIZIEREN oder AUSFÜHREN wäre.
Man beziehe sich nun auf Fig. 10 und beachte, daß ein START-Signal (das dasselbe sein kann wie in Fig. 9) einen Übergang 112 zu einem Zustand 113 verursacht, wo ein An­ tippintervallzeitgeber auf einen Wert von Null neu einge­ stellt wird. Der Zustand 113 wird aufrechterhalten, bis das Signal ANTIPPEN (von dem Zustandsmaschinendiagramm 91 der Fig. 9) empfangen wird. Dies ist die Bedeutung des Über­ gangs 114: ANTIPPEN = 0. Wenn ANTIPPEN = 1 (von dem wir der Einfachheit halber annehmen, daß es wie ein Puls ist - wir lassen jeglichen Zwischenspeicher oder Quittungsaustausch als herkömmliche Erkenntnis darüber, wie eine zwischen Ma­ schinen stattfindende Kommunikation wie diese bewerkstel­ ligt wird, beiseite), führt der Übergang 115 zu Zustand 116, wo wir warten (über den Übergang 117), bis ANTIPPEN wieder Null ist. Der Übergang 118 zum Zustand 119 ist somit ein Hemmungsmechanismus, der eine Instanz von ANTIPPEN mißt.
Wenn er sich erst einmal in dem Zustand 119 befindet, darf der Antippintervallzeitgeber inkrementieren. Anfänglich wird der Zustand 119 dadurch aufrechterhalten, daß ANTIPPEN Null bleibt, über den Übergang 120. Schließlich tritt ANTIPPEN jedoch erneut auf (ein potentielles Doppelantip­ pen), oder der Antippintervallzeitgeber wird über einen Grenzwert inkrementieren, um zwei aufeinanderfolgende An­ tipphandlungen als ein Doppelantippen auszulegen. Der erste dieser Fälle tritt auf, wenn ANTIPPEN wiederum ausgeübt wird und sich der Antippintervallzeitgeber im Bereich be­ findet. Der Übergang 121 führt zu dem Zustand 122, wo ein Signal DOPPELANTIPPEN an das Gesamtsystem ausgegeben wird. Danach führt der Übergang 123 zurück zum Zustand 113, so daß der ganze Prozeß von vorne beginnen kann.
Andererseits kann der Antippintervallzeitgeber außerhalb eines bestimmten Bereichs inkrementieren, während er sich im Zustand 119 befindet. Dies entspricht keinem Doppelan­ tippen und bewirkt einen Übergang 124 zum Zustand 125, wo (da eine Instanz von ANTIPPEN vorlag) ein Signal EINFACHANTIPPEN an das Gesamtsystem ausgegeben wird. Dar­ aufhin führt der Übergang 126 zurück zum Zustand 113, so daß der gesamte Prozeß von neuem beginnen kann.
Man wird selbstverständlich erkennen, daß, wenn beide Zu­ standsmaschinendiagramme 91 und 111 zu implementieren sind, sie zu einem Mechanismus kombiniert werden könnten. Es ist zweckmäßig, die Dinge so zu zeigen, wie wir es getan haben, da es der Fall sein könnte, daß lediglich die Zustandsma­ schine 91 der Fig. 9 vorliegt.
Schließlich wird man ferner erkennen, daß, ob nun eine oder beide der Zustandsmaschinen für die Zustandsdiagramme 91 und 111 vorhanden sind, ihre tatsächliche Position in einem Blockdiagramm wie zum Beispiel 1 der Fig. 1 in einer Steu­ erschaltung 11 (Bewegungswandler kennt solche Nettigkeiten wie Antippen und Doppelantippen nicht) oder (vorzugsweise) in dem Bewegungswandler 10 selbst sein könnte. In diesem letzteren Fall würde der Bewegungswandler nicht nur ein Korrelationsverlustsignal 40 (falls benötigt) ausgeben, sondern auch zusätzliche Signale (in Fig. 1 nicht explizit gezeigt, aber in den Fig. 9 und 10 implizit) ANTIPPEN und DOPPELANTIPPEN.

Claims (70)

1. Eingabeapparat zum Steuern des Betriebs einer Vorrich­ tung (2), wobei der Eingabeapparat folgende Merkmale aufweist:
ein Gehäuse (7), das die Vorrichtung (2) enthält;
zusätzlich zu der Vorrichtung (2) eine Tastatur (21) für eine Eingabe separater Tastenanschläge, die ein­ zelne Buchstaben des Alphabets darstellen;
eine Bildeingabeapertur (8) in dem Gehäuse, auf der ein Abschnitt der Spitze eines der Finger (3) einer Bedienperson plaziert werden kann;
eine Lichtquelle (9), die in der Nähe der Bildeinga­ beapertur (8) angeordnet ist und die Licht (17) emit­ tiert, das einen Abschnitt der Spitze des Fingers (3), der an der Bildeingabeapertur (8) plaziert ist, be­ leuchtet;
eine Bildaustrittsoberfläche, die optisch mit der Bildeingabeapertur (8) gekoppelt ist und von der re­ flektiertes Licht, das ein Bild (18) der Spitze des Fingers (3) der Bedienperson ist, austreten kann;
einen Bewegungswandler (10), der in der Nähe der Bild­ austrittsoberfläche angeordnet ist und der das Bild (18) empfängt, von dem der Bildwandler Pixelform- Darstellungen erzeugt, die ein neu abgetastetes Array, ein zuvor abgetastetes Array und verschobene Versionen eines jener Arrays, die seine Nächster-Nachbar-Arrays sind, aufweisen, wobei das eine Array und seine Näch­ ster-Nachbar-Arrays mit dem nicht verschobenen Array korreliert werden, um Bewegungssignale zu erzeugen, die Bewegungen in den Richtungen von Koordinatenachsen durch die Spitze des Fingers (3), der sich auf der Bildeingabeoberfläche bewegt, entsprechen, und die ei­ ne Bedienperson-Eingabe, um den Betrieb der Vorrich­ tung (2) zu beeinflussen, darstellen;
eine Vorrichtungssteuerschaltung (11), die mit den Be­ wegungssignalen gekoppelt ist, die im Inneren der Vor­ richtung (2) angeordnet ist und den Betrieb der Vor­ richtung (2) steuert, indem sie den Wert mindestens eines Vorrichtungssteuerparameters (15) gemäß einer Bewegung der Spitze des Fingers (3) an der Bildeinga­ beapertur (8) ändert.
2. Eingabeapparat gemäß Anspruch 1, der ferner eine Lin­ senanordnung (20) aufweist, die in der Bildeingabea­ pertur (8) angeordnet ist.
3. Eingabeapparat gemäß Anspruch 2, bei dem die Linsenan­ ordnung (20) eine Stablinse (4) aufweist.
4. Eingabeapparat gemäß Anspruch 2 oder 3, bei dem die Linsenanordnung (20) eine Kuppelform aufweist und sich ein Abschnitt derselben über eine äußere Oberfläche des Gehäuses (7) erstreckt.
5. Eingabeapparat gemäß Anspruch 4, bei dem die kuppel­ förmige Linsenanordnung (20) einen Durchmesser von un­ gefähr zwei bis drei Millimetern aufweist.
6. Eingabeapparat gemäß einem der Ansprüche 1 bis 5, bei dem die Bildeingabeapertur (8) eine transparente Ober­ fläche hält, die im allgemeinen flach und in ungefähr derselben Ebene wie eine äußere Oberfläche des Gehäu­ ses (7) an dem Ort desselben angeordnet ist, wo die Bildeingabeapertur (8) angeordnet ist.
7. Eingabeapparat gemäß einem der Ansprüche 1 bis 6, bei dem die Bildaustrittsoberfläche einen Spiegel auf­ weist.
8. Eingabeapparat gemäß einem der Ansprüche 1 bis 7, bei dem die Bildaustrittsoberfläche eine Linse (20) auf­ weist.
9. Eingabeapparat gemäß einem der Ansprüche 1 bis 8, der ferner Indizien (12) aufweist, die mit der Vorrich­ tungssteuerschaltung (11) gekoppelt sind und die ange­ ben, welcher Vorrichtungssteuerparameter (15) unter einer Mehrzahl derselben gemäß der Bewegung der Fin­ gerspitze auf der Bildeingabeoberfläche geändert wird.
10. Eingabeapparat gemäß Anspruch 9, der ferner eine An­ zeige (30) aufweist, die mit der Vorrichtungssteuer­ schaltung (11) gekoppelt ist, und bei dem die Indizien ein Menüelement in einem Menü von Auswahlen aufweisen, wobei das Menüelement eine Legende enthält, die einem Vorrichtungssteuerparameter (15) zugeordnet ist.
11. Eingabeapparat gemäß Anspruch 9 oder 10, bei dem die Indizien (12) eine sichtbare Meldeeinrichtung aufwei­ sen, die neben einer permanent sichtbaren Legende an­ geordnet ist, die einem Vorrichtungssteuerparameter (15) zugeordnet ist.
12. Eingabeapparat gemäß einem der Ansprüche 1 bis 11, der ferner Indizien (12) aufweist, die mit der Vorrich­ tungssteuerschaltung (11) gekoppelt sind und die den Wert eines Vorrichtungssteuerparameters (15) angeben, wenn er gemäß der Bewegung der Spitze des Fingers (3) auf der Bildeingabeoberfläche geändert wird.
13. Eingabeapparat gemäß Anspruch 12, bei dem die Indizien (12) eine Balkendiagrammanzeige aufweisen.
14. Eingabeapparat gemäß Anspruch 12 oder 13, bei dem die Indizien (12) eine digitale Anzeige (30) eines numeri­ schen Werts aufweisen.
15. Eingabeapparat gemäß einem der Ansprüche 12 bis 14, bei dem die Änderung an dem Vorrichtungssteuerparame­ ter (15) eine Versuchsänderung ist, die den Betrieb der Vorrichtung (2) nicht beeinflußt, bis sie durch die Bedienperson ratifiziert ist.
16. Eingabeapparat gemäß Anspruch 15, der ferner eine elektrische Schaltvorrichtung aufweist, die durch ei­ nen Druck, der auf die Bildeingabeapertur (8) ausgeübt wird, betätigt wird und die mit der Vorrichtungssteu­ erschaltung (11) elektrisch gekoppelt ist, und bei dem eine Ratifizierung einer Versuchsänderung durch ein Betätigen der elektrischen Schaltvorrichtung bewerk­ stelligt wird.
17. Eingabeapparat gemäß einem der Ansprüche 1 bis 16, bei dem die Korrelation der Arrays interpolierte Bewe­ gungssignale (22) erzeugt, die eine kleinere Bewegung als die Größe räumlicher Merkmale in dem Bild (18) darstellen.
18. Eingabeapparat gemäß einem der Ansprüche 1 bis 17, der ferner eine elektrische Schaltvorrichtung aufweist, die durch einen Druck, der auf die Bildeingabeapertur (8) ausgeübt wird, betätigt wird und die mit der Vor­ richtungssteuerschaltung (11) elektrisch gekoppelt ist.
19. Eingabeapparat gemäß Anspruch 18, bei dem eine Mehr­ zahl von Vorrichtungssteuerparametern (15) vorliegt und die Vorrichtungssteuerschaltung (11) eine Betäti­ gung der elektrischen Schaltvorrichtung als eine Ab­ grenzungseinrichtung auslegt, die die Änderung des Werts eines Vorrichtungssteuerparameters (15) von der Änderung des Werts eines anderen Vorrichtungssteuerpa­ rameters (15) trennt.
20. Eingabeapparat gemäß einem der Ansprüche 1 bis 19, der ferner ein Korrelationsverlustsignal (40) aufweist, das durch den Bewegungswandler (10) als Antwort auf eine Abwesenheit des Fingers (3) der Bedienperson von der Bildeingabeapertur (8) erzeugt wird und mit der Vorrichtungssteuerschaltung (11) gekoppelt ist, wobei eine Mehrzahl von Vorrichtungssteuerparametern (15) vorliegt und die Vorrichtungssteuerschaltung (11) das Vorliegen des Korrelationsverlustsignals (40) als eine Abgrenzungseinrichtung auslegt, die die Änderung des Werts eines Vorrichtungssteuerparameters (15) von der Änderung des Werts eines anderen Vorrichtungssteuerpa­ rameters (15) trennt.
21. Eingabeapparat gemäß einem der Ansprüche 1 bis 20, der ferner ein Korrelationsverlustsignal (40) aufweist, das durch den Bewegungswandler (10) als Antwort auf eine Abwesenheit des Fingers (3) der Bedienperson von der Bildeingabeapertur (8) erzeugt wird und mit der Vorrichtungssteuerschaltung (11) gekoppelt ist, wobei die Vorrichtungssteuerschaltung (11) auf eine ausge­ wählte Weise auf Auslenkungen des Korrelationsverlust­ signals (40) antwortet, die dadurch erzeugt werden, daß die Bedienperson den Finger (3) von der Bildeinga­ beapertur (8) entfernt, ihn ohne wesentliche Bewegun­ gen in den Richtungen der Koordinatenachsen kurz wie­ der aufsetzt, wonach er den Finger (3) wieder ent­ fernt.
22. Eingabeapparat gemäß einem der Ansprüche 1 bis 21, bei dem die Koordinatenachsen eine erste und eine zweite orthogonale Achse (37, 38) aufweisen, die Bewegungssi­ gnale (22) ein erstes und ein zweites Bewegungssignal, die sich jeweils zugeordnet sind, aufweisen, der min­ destens eine Vorrichtungssteuerparameter (15) einen ersten und einen zweiten Vorrichtungssteuerparameter, die sich jeweils zugeordnet sind, aufweist, und bei dem das erste Bewegungssignal den Wert des ersten Vor­ richtungssteuerparameters ändert und das zweite Bewe­ gungssignal den Wert des zweiten Vorrichtungssteuerpa­ rameters ändert.
23. Eingabeapparat gemäß einem der Ansprüche 1 bis 22, bei dem die Koordinatenachsen eine erste und eine zweite orthogonale Achse (37, 38) aufweisen, die Bewegungssi­ gnale (22) ein erstes und ein zweites Bewegungssignal, die sich jeweils zugeordnet sind, aufweisen, der min­ destens eine Vorrichtungssteuerparameter (15) einen ersten und einen zweiten Vorrichtungssteuerparameter, die sich jeweils zugeordnet sind, aufweist, und bei dem die Vorrichtungssteuerschaltung (11) den zweiten Vorrichtungssteuerparameter ferner unverändert beläßt, während sie den Wert des ersten Vorrichtungssteuerpa­ rameters ändert, wenn die Bewegung der Spitze des Fin­ gers (3) entlang der ersten Achse diejenige entlang der zweiten Achse übersteigt, und den ersten Vorrich­ tungssteuerparameter unverändert beläßt, während sie den Wert des zweiten Vorrichtungssteuerparameters än­ dert, wenn die Bewegung der Spitze des Fingers (3) entlang der zweiten Achse diejenige entlang der ersten Achse übersteigt.
24. Eingabeapparat gemäß Anspruch 23, bei dem, nachdem der erste oder der zweite Vorrichtungssteuerparameter un­ verändert belassen wurde und der andere geändert wur­ de, der unveränderte Vorrichtungssteuerparameter un­ verändert bleibt und lediglich der andere durch eine Bewegung der Spitze des Fingers (3) geändert wird, un­ abhängig davon, welches Bewegungssignal (22) den grö­ ßeren Bewegungsbetrag angibt.
25. Eingabeapparat gemäß einem der Ansprüche 1 bis 24, bei dem die Koordinatenachsen eine erste und eine zweite orthogonale Achse (37, 38) aufweisen, die Bewegungssi­ gnale (22) ein erstes und ein zweites Bewegungssignal, die sich jeweils zugeordnet sind, aufweisen, der min­ destens eine Vorrichtungssteuerparameter (15) einen ersten und einen zweiten Vorrichtungssteuerparameter, die sich jeweils zugeordnet sind, und ferner einen dritten Vorrichtungssteuerparameter aufweist, und bei dem ferner eine Bewegung der Spitze des Fingers (3) entlang einem Weg in einer Region, die um einen ausge­ wählten Betrag bezüglich einer der Koordinatenachsen geneigt und von einer ausgewählten Breite ist, durch die Vorrichtungssteuerschaltung (11) als eine Eingabe von der Bedienperson ausgelegt ist, um den Wert des dritten Vorrichtungssteuerparameters gemäß der Bewe­ gung der Fingerspitze entlang diesem Weg zu ändern und die Werte des ersten und des zweiten Vorrichtungssteu­ erparameters unverändert zu lassen.
26. Eingabeapparat gemäß einem der Ansprüche 1 bis 25, bei dem die Koordinatenachsen eine erste und eine zweite orthogonale Achse (37, 38) aufweisen, die Bewegungssi­ gnale (22) ein erstes und ein zweites Bewegungssignal, die sich jeweils zugeordnet sind, aufweisen, die Vor­ zeichen aufweisen, die die Bewegungsrichtung entlang ihrer jeweiligen Achsen angeben, wobei der mindestens eine Vorrichtungssteuerparameter (15) einen ersten und einen zweiten Vorrichtungssteuerparameter, die sich jeweils zugeordnet sind, und ferner einen dritten Vor­ richtungssteuerparameter aufweist und bei dem ferner, wenn das erste und zweite Bewegungssignal (22) diesel­ ben Vorzeichen und im wesentlichen denselben absoluten Bewegungsbetrag aufweisen, die Vorrichtungssteuer­ schaltung (11) die Kombination des ersten und des zweiten Bewegungssignals als eine Bewegung entlang ei­ ner dritten Achse und als eine Bedienperson-Eingabe, um den Wert des dritten Vorrichtungssteuerparameters gemäß dieser Bewegung zu ändern, auslegt.
27. Eingabeapparat gemäß einem der Ansprüche 1 bis 26, bei dem die Koordinatenachsen eine erste und eine zweite orthogonale Achse (37, 38) aufweisen, die Bewegungssi­ gnale (22) ein erstes und ein zweites Bewegungssignal, die sich jeweils zugeordnet sind, aufweisen, die Vor­ zeichen aufweisen, die die Bewegungsrichtung entlang ihrer jeweiligen Achsen angeben, wobei der mindestens eine Vorrichtungssteuerparameter (15) einen ersten und einen zweiten Vorrichtungssteuerparameter, die sich jeweils zugeordnet sind, und ferner einen dritten Vor­ richtungssteuerparameter aufweist, und bei dem ferner, wenn das erste und zweite Bewegungssignal (22) unter­ schiedliche Vorzeichen und im wesentlichen denselben absoluten Bewegungsbetrag aufweisen, die Vorrichtungs­ steuerschaltung (11) die Kombination des ersten und des zweiten Bewegungssignals als eine Bewegung entlang der dritten Achse und als eine Bedienperson-Eingabe, um den Wert des dritten Vorrichtungssteuerparameters gemäß dieser Bewegung zu ändern, auslegt.
28. Eingabeapparat gemäß einem der Ansprüche 1 bis 27, bei dem die Vorrichtungssteuerschaltung (11) einen Mikro­ prozessor und einen Nur-Lese-Speicher aufweist, die ein eingebettetes Steuersystem sind, das ausführbare Anweisungen umfaßt, die in dem Speicher dauerhaft ge­ speichert sind und durch den Mikroprozessor aus dem­ selben geholt werden.
29. Eingabeapparat gemäß einem der Ansprüche 1 bis 27, bei dem die Vorrichtungssteuerschaltung (11) eine Zu­ standsmaschine aufweist, deren Übergänge auf die Bewe­ gungssignale (22) ansprechen und deren Zustandsände­ rungen die Vorrichtung (2) steuern.
30. Eingabeapparat gemäß einem der Ansprüche 1 bis 27, bei dem die Vorrichtungssteuerschaltung (11) eine Logik­ schaltungsanordnung aufweist, die durch ein Gatterar­ ray implementiert ist, und ferner Register aufweist, die Vorrichtungssteuerparametern (15) zugeordnet sind, die mit von der Bewegung der Spitze des Fingers (3) abgeleiteten Werten beladen werden und die den Betrieb der Vorrichtung (2) steuern.
31. Eingabeapparat gemäß einem der Ansprüche 1 bis 30, bei dem die Vorrichtung (2) bezüglich eines Audioprogramm­ materials arbeitet und der mindestens eine Vorrich­ tungssteuerparameter (15) das Einstellen einer Laut­ stärkesteuerung für ein hörbares Signal bestimmt.
32. Eingabeapparat gemäß einem der Ansprüche 1 bis 31, bei dem die Vorrichtung (2) bezüglich eines Audioprogramm­ materials arbeitet und der mindestens eine Vorrich­ tungssteuerparameter (15) das Einstellen einer Ton­ steuerung für ein hörbares Signal bestimmt.
33. Eingabeapparat gemäß einem der Ansprüche 1 bis 32, bei dem die Vorrichtung (2) einen Empfänger von Hochfre­ quenzsignalen aufweist und der mindestens eine Vor­ richtungssteuerparameter (15) die Frequenz, auf die der Empfänger abgestimmt ist, einstellt.
34. Eingabeapparat gemäß einem der Ansprüche 1 bis 33, bei dem die Vorrichtung (2) ein drahtloses Telefon (28) ist.
35. Eingabeapparat gemäß einem der Ansprüche 1 bis 33, bei dem die Vorrichtung (2) ein Globale-Position-Empfänger ist.
36. Eingabeapparat gemäß einem der Ansprüche 1 bis 33, bei dem die Vorrichtung (2) eine Persönliche-Daten- Organisationseinrichtung ist.
37. Eingabeapparat gemäß einem der Ansprüche 1 bis 33, bei dem die Vorrichtung (2) ein Videorekorder ist.
38. Eingabeapparat gemäß einem der Ansprüche 1 bis 33, bei dem die Vorrichtung (2) ein Video-Abspielgerät ist.
39. Eingabeapparat gemäß einem der Ansprüche 1 bis 33, bei dem die Vorrichtung (2) eine Digitalkamera ist.
40. Apparat gemäß einem der Ansprüche 1 bis 39, bei dem die Vorrichtung (2) bezüglich Bildern arbeitet und die Bewegungen der Spitze des Fingers (3) eine interessie­ rende Region in einem Arbeitsbild, das durch die Vor­ richtung (2) bearbeitet wird, begrenzen.
41. Eingabeapparat zum Steuern des Betriebs einer Vorrich­ tung (2) gemäß einer Bewegung der Spitze eines Fingers (3) einer Bedienperson entlang einer Mehrzahl von Ko­ ordinatenachsen durch (a) Auswählen eines Eintrags aus einem angezeigten Menü von Auswahlen (12) und (b) Ein­ stellen des Werts eines Vorrichtungssteuerparameters (15), wobei der Eingabeapparat folgende Merkmale auf­ weist:
ein Gehäuse (7), das die Vorrichtung (2) enthält;
eine Bildeingabeapertur (8) in dem Gehäuse, auf der ein Abschnitt der Spitze eines der Finger (3) der Be­ dienperson plaziert werden kann;
eine Lichtquelle (9), die in der Nähe der Bildeinga­ beapertur (8) angeordnet ist und die Licht (17) emit­ tiert, das einen Abschnitt der Spitze des Fingers (3), der auf der Bildeingabeapertur (8) plaziert ist, be­ leuchtet;
eine Bildaustrittsoberfläche, die optisch mit der Bildeingabeapertur (8) gekoppelt ist und von der re­ flektiertes Licht, das ein Bild (18) der Spitze des Fingers (3) der Bedienperson ist, austreten kann;
einen Bewegungswandler (10), der in der Nähe der Bild­ austrittsoberfläche angeordnet ist und der das Bild (18) empfängt, von dem der Bildwandler Pixelform- Darstellungen erzeugt, die ein neu abgetastetes Array, ein zuvor abgetastetes Array und verschobene Versionen eines jener Arrays, die seine Nächster-Nachbar-Arrays sind, aufweisen, wobei das eine Array und seine Näch­ ster-Nachbar-Arrays mit dem nicht verschobenen Array korreliert werden, um Bewegungssignale (22) zu erzeu­ gen, die Bewegungen in den Richtungen von Koordinaten­ achsen durch die Spitze des Fingers (3), der sich auf der Bildeingabeoberfläche bewegt, entsprechen, und die eine Bedienperson-Eingabe, um den Betrieb der Vorrich­ tung (2) zu steuern, darstellen;
ein eingebettetes System (11), das mit den Bewegungs­ signalen (22) gekoppelt ist und das den Betrieb der Vorrichtung (2) als Antwort auf Eingaben, die durch eine Bedienperson der Vorrichtung (2) durchgeführt werden, leitet;
wobei das eingebettete System (11) einen Bewegungssi­ gnalauswähler umfaßt, der entsprechende Fälle des er­ sten und des zweiten Bewegungssignals untersucht, um zu bestimmen, ob eines derselben eine Größe aufweist, die um einen ausgewählten Betrag größer ist als das andere, und der, falls dies so ist, das Bewegungssi­ gnal mit der größeren Größe als eine Eingabe auslegt, die durch die Bedienperson durchgeführt wurde, während er ferner das andere Bewegungssignal als eine Größe von Null aufweisend auslegt;
eine Anzeige (30), die mit dem eingebetteten System (11) gekoppelt ist und die Indizien (12) anzeigt, die einem Menü von Auswahlen entsprechen, das der Bedien­ person zum Beeinflussen des Betriebs der Vorrichtung (2) zur Verfügung steht;
wobei das eingebettete System (11) eines der ausgeleg­ ten Bewegungssignale (22) als eine Eingabe behandelt, die durch die Bedienperson durchgeführt wird, um einen Eintrag in dem Menü durch ein Ändern entsprechender angezeigter Indizien (12) gemäß jener Eingabe auszu­ wählen; und
wobei das eingebettete System (11) das andere ausge­ legte Bewegungssignal (22) als eine Eingabe behandelt, die durch die Bedienperson durchgeführt wird, um den Wert eines Vorrichtungssteuerparameters (15), der dem ausgewählten Eintrag in dem Menü zugeordnet ist, ein­ zustellen.
42. Eingabeapparat gemäß Anspruch 41, bei dem die Anzeige (30) Indizien (12) umfaßt, die dem Wert eines Vorrich­ tungssteuerparameters (15), der dem ausgewählten Menü­ eintrag zugeordnet ist, entsprechen.
43. Eingabeapparat gemäß Anspruch 41 oder 42, der ferner eine elektrische Schaltvorrichtung aufweist, die durch einen Druck, der auf die Bildeingabeapertur (8) ausge­ übt wird, betätigt wird und mit dem eingebetteten Sy­ stem (11) elektrisch gekoppelt ist, wobei das einge­ bettete System (11) ferner eine Betätigung der Schalt­ vorrichtung als eine Abgrenzungseinrichtung einer durch die Bedienperson durchgeführten Eingabe auslegt.
44. Eingabeapparat gemäß einem der Ansprüche 41 bis 43, der ferner ein Korrelationsverlustsignal (40) auf­ weist, das zu dem eingebetteten System (11) gekoppelt wird und durch den Bewegungswandler (10) als Antwort auf eine Abwesenheit des Fingers (3) der Bedienperson von der Bildeingabeapertur (8) erzeugt wird, und bei dem ferner das eingebettete System (11) das Korrelati­ onsverlustsignal (40) als eine Abgrenzungseinrichtung einer durch die Bedienperson durchgeführten Eingabe auslegt.
45. Eingabeapparat gemäß einem der Ansprüche 41 bis 44, der ferner ein Korrelationsverlustsignal (40) auf­ weist, das zu dem eingebetteten System (11) gekoppelt wird und durch den Bewegungswandler (10) als Antwort auf eine Abwesenheit des Fingers (3) der Bedienperson von der Bildeingabeapertur (8) erzeugt wird, und bei dem ferner das eingebettete System (11) auf eine aus­ gewählte Weise auf Auslenkungen des Korrelationsver­ lustsignals (40) antwortet, die dadurch erzeugt wer­ den, daß die Bedienperson den Finger (3) von der Bil­ deingabeapertur (8) entfernt, ihn ohne wesentliche Be­ wegungen in den Richtungen der Koordinatenachsen kurz wieder aufsetzt und den Finger (3) daraufhin wieder entfernt.
46. Eingabeapparat zum Steuern des Betriebs einer Vorrich­ tung (2) gemäß einer Bewegung der Spitze eines Fingers (3) einer Bedienperson entlang einer Mehrzahl von Ko­ ordinatenachsen durch (a) Auswählen eines Eintrags aus einem angezeigten Menü von Auswahlen und (b) Einstel­ len des Werts eines Vorrichtungssteuerparameters (15), wobei der Eingabeapparat folgende Merkmale aufweist:
ein Gehäuse (7), das die Vorrichtung (2) enthält;
eine Bildeingabeapertur (8) in dem Gehäuse, auf der ein Abschnitt der Spitze eines der Finger (3) der Be­ dienperson plaziert werden kann;
eine Lichtquelle (9), die in der Nähe der Bildeinga­ beapertur (8) angeordnet ist und die ein Licht (17) emittiert, das einen Abschnitt der Spitze des Fingers (3), der auf der Bildeingabeapertur (8) plaziert ist, beleuchtet;
eine Bildaustrittsoberfläche, die optisch mit der Bildeingabeapertur (8) gekoppelt ist und von der re­ flektiertes Licht, das ein Bild (18) der Spitze des Fingers (3) der Bedienperson ist, austreten kann;
einen Bewegungswandler (10), der in der Nähe der Bild­ austrittsoberfläche angeordnet ist und der das Bild (18) empfängt, von dem der Bildwandler Pixelform- Darstellungen erzeugt, die ein neu abgetastetes Array, ein zuvor abgetastetes Array und verschobene Versionen eines jener Arrays, die seine Nächster-Nachbar-Arrays sind, aufweisen, wobei das eine Array und seine Näch­ ster-Nachbar-Arrays mit dem nicht verschobenen Array korreliert werden, um Bewegungssignale zu erzeugen, die Bewegungen in den Richtungen von Koordinatenachsen durch die Fingerspitze (3), die sich auf der Bildein­ gabeoberfläche bewegt, entsprechen und die eine Be­ dienperson-Eingabe, um den Betrieb der Vorrichtung (2) zu steuern, darstellen;
ein eingebettetes System (11), das mit den Bewegungs­ signalen (22) gekoppelt ist und das den Betrieb der Vorrichtung (2) als Antwort auf Eingaben, die durch eine Bedienperson der Vorrichtung (2) durchgeführt werden, leitet;
wobei das eingebettete System (11) einen Bewegungssi­ gnalauswähler umfaßt, der entsprechende Fälle des er­ sten und des zweiten Bewegungssignals untersucht, um zu bestimmen, ob eines derselben eine Größe aufweist, die um einen ausgewählten Betrag größer ist als das andere, und der, falls dies so ist, das Bewegungssi­ gnal mit der größeren Größe als eine Eingabe auslegt, die durch die Bedienperson durchgeführt wurde, während er ferner das andere Bewegungssignal als eine Größe von Null aufweisend auslegt, und der ferner die ent­ sprechenden Fälle untersucht, um zu bestimmen, ob sie Größen aufweisen, die von allgemein gleichem absolutem Wert sind, und falls dies so ist, das erste und das zweite Bewegungssignal als Größen von Null aufweisend auslegt, während ein drittes Bewegungssignal erzeugt wird, das der Bewegung der Spitze des Fingers (3) ent­ lang einer zu den Koordinatenachsen geneigten Achse entspricht;
eine Anzeige (30), die mit dem eingebetteten System (11) gekoppelt ist und die Indizien (12) anzeigt, die einem Menü von Auswahlen entsprechen, die der Bedien­ person zum Beeinflussen des Betriebs der Vorrichtung (2) zur Verfügung stehen;
wobei das eingebettete System (11) eines des ersten und des zweiten ausgelegten Bewegungssignals (22) als einen Eintrag behandelt, die durch die Bedienperson durchgeführt wurde, um in der Richtung der entspre­ chenden Koordinatenachse einen Eintrag in dem Menü durch ein Ändern entsprechender angezeigter Indizien (12) gemäß jener Eingabe auszuwählen, und das andere des ersten und des zweiten ausgelegten Bewegungssi­ gnals (22) als eine Eingabe behandelt, die durch die Bedienperson durchgeführt wurde, um in der Richtung der anderen Koordinatenachse einen anderen Eintrag in dem Menü durch ein Ändern entsprechender angezeigter Indizien (12) gemäß jener Eingabe auszuwählen; und
wobei das eingebettete System (11) das dritte Bewe­ gungssignal (22) als eine Eingabe behandelt, die durch die Bedienperson durchgeführt wurde, um den Wert eines Vorrichtungssteuerparameters (15), der dem ausgewähl­ ten Eintrag in dem Menü zugeordnet ist, einzustellen.
47. Eingabeapparat gemäß Anspruch 46, bei dem die Anzeige (30) Indizien (12) umfaßt, die dem Wert eines Vorrich­ tungssteuerparameters (15), der dem ausgewählten Menü­ eintrag zugeordnet ist, entsprechen.
48. Schriftzeicheneingabeapparat zum Steuern des Betriebs einer Vorrichtung, wobei der Schriftzeicheneingabeap­ parat folgende Merkmale aufweist:
ein Gehäuse (7), das die Vorrichtung (2) enthält;
zusätzlich zu der Vorrichtung (2) eine Tastatur (21) für eine Eingabe getrennter Tastenanschläge, die ein­ zelne Buchstaben des Alphabets und die numerischen Ziffern darstellen;
eine Bildeingabeapertur (8) in dem Gehäuse, auf der ein Abschnitt der Spitze eines der Finger (3) der Be­ dienperson plaziert werden kann;
eine Lichtquelle (9), die in der Nähe der Bildeinga­ beapertur (8) angeordnet ist und die Licht (17) emit­ tiert, das einen Abschnitt der Spitze des Fingers (3), der auf der Bildeingabeapertur (8) plaziert ist, be­ leuchtet;
eine Bildaustrittsoberfläche, die optisch mit der Bildeingabeapertur (8) gekoppelt ist und von der re­ flektiertes Licht, das ein Bild (18) der Spitze des Fingers (3) der Bedienperson ist, austreten kann;
einen Bewegungswandler (10), der in der Nähe der Bild­ austrittsoberfläche angeordnet ist und der das Bild (18) empfängt, von dem der Bildwandler Pixelform- Darstellungen erzeugt, die ein neu abgetastetes Array, ein zuvor abgetastetes Array und verschobene Versionen eines jener Arrays, die seine Nächster-Nachbar-Arrays sind, aufweisen, wobei das eine Array und seine Näch­ ster-Nachbar-Arrays mit dem nicht verschobenen Array korreliert werden, um Bewegungssignale (22) zu erzeu­ gen, die Bewegungen in den Richtungen von Koordinaten­ achsen durch die Spitze des Fingers (3), der sich auf der Bildeingabeoberfläche bewegt, entsprechen und die ein Schriftzeichen in der Schriftart, dessen Form die Bedienperson mit der Bewegung ihres Fingers (3) auf der Bilderzeugungsöffnung nachgefahren hat, darstel­ len;
wobei die Bewegungssignale (22) zu dem eingebetteten System (11) gekoppelt werden;
wobei das eingebettete System (11) die Bewegungssigna­ le (22) als das Schriftzeichen auslegt, das durch den Finger (3) der Bedienperson nachgefahren wird, und die angezeigten Indizien (12) gemäß denselben ändert; und
eine Anzeige (30), die mit dem eingebetteten System (11) gekoppelt ist und die Schriftzeichen anzeigt, die durch die Bedienperson der Vorrichtung (2) eingegeben werden.
49. Eingabeapparat gemäß Anspruch 48, der ferner eine Schaltvorrichtung aufweist, die zum Zweck einer Betä­ tigung mit der Bildeingabeapertur (8) gekoppelt ist und durch einen Druck, der auf die Bildeingabeapertur (8) ausgeübt wird, betätigt wird.
50. Eingabeapparat gemäß Anspruch 49, bei dem die Schalt­ vorrichtung mit dem eingebetteten System (11) elek­ trisch gekoppelt ist und bei dem das eingebettete Sy­ stem (11) ferner eine Betätigung der Schaltvorrichtung als eine Abgrenzungseinrichtung der Bewegungen in den Koordinatenachsen durch die Spitze des Fingers (3), die ein durch die Bedienperson eingegebenes Schrift­ zeichen darstellen, auslegt.
51. Eingabeapparat gemäß Anspruch 49, bei dem die Schalt­ vorrichtung mit dem eingebetteten System (11) elek­ trisch gekoppelt ist und bei dem das eingebettete Sy­ stem (11) ferner eine Betätigung der Schaltvorrichtung als eine Ratifizierung eines durch die Bedienperson eingegebenen und durch die Anzeige (30) angezeigten Schriftzeichens auslegt.
52. Eingabeapparat gemäß einem der Ansprüche 49, bei dem die Schaltvorrichtung mit dem eingebetteten System (11) elektrisch gekoppelt ist und bei dem das einge­ bettete System (11) ferner eine Betätigung der Schalt­ vorrichtung als eine RÜCKWÄRTSSCHRITT-Anweisung aus­ legt, die das Überschreiben eines zuvor eingegebenen Schriftzeichens erlaubt.
53. Eingabeapparat gemäß einem der Ansprüche 49, bei dem die Schaltvorrichtung mit dem eingebetteten System (11) elektrisch gekoppelt ist und bei dem das einge­ bettete System (11) ferner eine stetige Betätigung der Schaltvorrichtung über einen längeren als einen ausge­ wählten Zeitraum als eine LÖSCHEN-Anweisung auslegt, die den Eingabeapparat in einen Zustand zurückführt, der vor der Eingabe kürzlicher Schriftzeichen exi­ stierte.
54. Eingabeapparat gemäß einem der Ansprüche 49, bei dem die Schaltvorrichtung mit dem eingebetteten System (11) elektrisch gekoppelt ist und bei dem das einge­ bettete System (11) ferner zwei Betätigungen der Schaltvorrichtung in einem ausgewählten Zeitraum als eine RÜCKWÄRTSSCHRITT-Anweisung auslegt, die das Über­ schreiben eines zuvor eingegebenen Schriftzeichens er­ laubt.
55. Eingabeapparat gemäß Anspruch 54, bei dem das einge­ bettete System (11) weitere einzelne Betätigungen der Schaltvorrichtung anschließend an eine RÜCKWÄRTSSCHRITT-Anweisung als implizierte RÜCKWÄRTSSCHRITT-Anweisungen auslegt, die jeweils das Überschreiben eines jeweils früheren Schriftzeichens, das zuvor durch die Bedienperson eingegeben wurde, er­ laubt.
56. Eingabeapparat gemäß Anspruch 54 oder 55, der ferner ein Korrelationsverlustsignal (40) aufweist, das zu dem eingebetteten System (11) gekoppelt wird und durch den Bewegungswandler (10) als Antwort auf eine Abwe­ senheit des Fingers (3) der Bedienperson von der Bild­ eingabeoberfläche erzeugt wird, wobei das eingebettete System (11) ferner das Korrelationsverlustsignal (40) als eine Aufhebung jeglicher RÜCKWÄRTSSCHRITT- Anweisungen, die noch gültig sind, auslegt, so daß ein neu eingegebenes Schriftzeichen an ein Ende einer Zei­ chenfolge zuvor eingegebener Schriftzeichen angehängt wird.
57. Eingabeapparat gemäß einem der Ansprüche 48 bis 56, der ferner ein Korrelationsverlustsignal (40) auf­ weist, das zu dem eingebetteten System (11) elektrisch gekoppelt wird und durch den Bewegungswandler (10) als Antwort auf eine Abwesenheit des Fingers (3) der Be­ dienperson von der Bildeingabeoberfläche erzeugt wird, wobei das eingebettete System (11) ferner das Korrela­ tionsverlustsignal (40) als eine Abgrenzungseinrich­ tung eines durch die Bedienperson eingegebenen Schriftzeichens auslegt.
58. Eingabeapparat gemäß einem der Ansprüche 48 bis 56, der ferner ein Korrelationsverlustsignal (40) auf­ weist, das zu dem eingebetteten System (11) elektrisch gekoppelt wird und durch den Bewegungswandler (10) als Antwort auf eine Abwesenheit des Fingers (3) der Be­ dienperson von der Bildeingabeoberfläche erzeugt wird, wobei das eingebettete System auf eine ausgewählte Weise auf Auslenkungen des Korrelationsverlustsignals (40) antwortet, die dadurch erzeugt werden, daß die Bedienperson den Finger (3) von der Bildeingabeapertur (8) entfernt, ihn ohne wesentliche Bewegungen in den Richtungen der Koordinatenachsen kurz wieder aufsetzt, wonach er den Finger (3) wieder entfernt.
59. Eingabeapparat gemäß einem der Ansprüche 48 bis 58, bei dem die Vorrichtung (2) ein Telefon (28) aufweist.
60. Eingabeapparat gemäß Anspruch 59, bei dem die durch die Bedienperson eingegebenen Schriftzeichen eine Te­ lefonnummer umfassen.
61. Eingabeapparat gemäß einem der Ansprüche 48 bis 58, bei dem die Vorrichtung (2) einen Globale-Position- Empfänger aufweist.
62. Eingabeapparat gemäß einem der Ansprüche 48 bis 58, bei dem die Vorrichtung (2) eine Persönliche-Daten- Organisationseinrichtung aufweist.
63. Verfahren zum Einstellen des Werts eines Vorrichtungs­ steuerparameters (15), der den Betrieb einer Vorrich­ tung (2) beeinflußt, wobei das Verfahren folgende Schritte aufweist:
Plazieren der Spitze eines Fingers (3) einer Bedien­ person auf einer Bilderzeugungsoberfläche (8);
Bewegen der Spitze des Fingers (3) über die Bilderzeu­ gungsoberfläche (8) in Mustern, die einer Benutzerein­ gabe entsprechen;
Beleuchten (17) jenes Abschnitts des Fingers (3), der sich auf der Bilderzeugungsoberfläche (8) befindet;
Fokussieren von Licht (18), das von dem beleuchteten Abschnitt des Fingers (3) reflektiert wird, als ein Bild (18) auf ein Array aus Photodetektoren, die Be­ standteil eines Bewegungswandlers (10) sind;
Digitalisieren der Ausgabewerte der Photodetektoren und Speichern der digitalen Ergebnisse als ein Refe­ renzarray in einem Speicher;
anschließend an das Speichern des Referenzarrays, Di­ gitalisieren der Ausgabewerte der Photodetektoren und Speichern der digitalen Ergebnisse als ein Abtastwert­ array in einem Speicher;
Korrelieren des Abtastwertarrays mit dem Referenzarray und ferner mit Nächster-Nachbar-verschobenen Versionen eines dieser Arrays, um ein Bewegungssignal (22) zu erzeugen, das einen Wert aufweist, der eine Bewegung entlang einer Achse (37, 38) durch die Spitze des Fin­ gers (3) angibt, während er sich über die Bilderzeu­ gungsoberfläche (8) bewegt; und
Einstellen des Werts eines Vorrichtungssteuerparame­ ters (15) gemäß dem Wert des Bewegungssignals (22).
64. Verfahren gemäß Anspruch 63, das ferner den Schritt eines Anzeigens (12, 30, 63) einer Angabe des Wertes, auf den der Vorrichtungssteuerparameter (15) durch den Einstellschritt eingestellt wird, aufweist.
65. Verfahren gemäß Anspruch 63 oder 64, das ferner die Schritte eines Erkennens des Entfernens, des kurzen und im wesentlichen bewegungsfreien Wiederaufsetzens und anschließenden Entfernens des Fingers (3) von der Bilderzeugungsoberfläche (8) und daraufhin, als Ant­ wort auf diese Erkennung, eines Durchführen einer aus­ gewählten Vorrichtungsoperation (83), aufweist.
66. Verfahren gemäß einem der Ansprüche 63 bis 65, bei dem der Korrelierungsschritt zwei Bewegungssignale (22) erzeugt, die jeweilige Werte aufweisen, die eine Bewe­ gung entlang einer Mehrzahl von Achsen angeben, und bei dem der Einstellschritt den Wert eines ersten Vor­ richtungssteuerparameters (15) gemäß dem Wert eines der Bewegungssignale (22) einstellt und den Wert eines zweiten Vorrichtungssteuerparameters (15) gemäß dem Wert des anderen Bewegungssignals (22) einstellt.
67. Verfahren zum Steuern des Betriebs einer Maschine, die ein Steuersystem aufweist, das auf eingegebene Schriftzeichen anspricht, wobei das Verfahren folgende Schritte aufweist:
Plazieren der Spitze eines Fingers (3) einer Bedien­ person auf einer Bilderzeugungsoberfläche (8);
Bewegen (75) der Spitze des Fingers (3) über die Bil­ derzeugungsoberfläche (8) in Mustern, die eingegebenen Schriftzeichen entsprechen;
Beleuchten (17) jenes Abschnitts des Fingers (3), der sich auf der Bilderzeugungsoberfläche (8) befindet;
Fokussieren von Licht (18), das von dem beleuchteten Abschnitt des Fingers (3) reflektiert wird, als ein Bild (18) auf ein Array aus Photodetektoren, die Be­ standteil eines Bewegungswandlers (10) sind;
Erzeugen von Bewegungssignalen (22) mit dem Bewegungs­ wandler (10), die die Bewegung der Spitze des Fingers (3) auf der Bilderzeugungsoberfläche (8) angeben;
Erfassen (76, 78), mit dem Steuersystem, von struktu­ rierten Variationen in den Bewegungssignalen (22), die eingegebenen Schriftzeichen entsprechen, die durch den Finger (3) der Bedienperson nachgefahren werden und die den Betrieb der Maschine steuern sollen; und
Betreiben (90) der Maschine gemäß den erfaßten struk­ turierten Variationen in den Bewegungssignalen (22).
68. Verfahren gemäß Anspruch 67, das ferner den Schritt eines Anzeigens von Indizien (78), die für die in den Bewegungssignalen (22) erfaßten strukturierten Varia­ tionen repräsentativ sind, aufweist.
69. Verfahren gemäß Anspruch 67 oder 68, das ferner die Schritte (101, 102, 104) eines Erkennens des Entfer­ nens, des kurzen und im wesentlichen bewegungsfreien Wiederaufsetzens und anschließenden Entfernens des Fingers (3) von der Bilderzeugungsoberfläche (8) und daraufhin, als Antwort auf diese Erkennung, eines Durchführens (105) einer ausgewählten Maschinenopera­ tion aufweist.
70. Verfahren gemäß einem der Ansprüche 67 bis 69, das ferner die Schritte eines Erkennens (125) eines ersten Falles des Entfernens, des kurzen und im wesentlichen bewegungsfreien Wiederaufsetzens und anschließenden Entfernens des Fingers (3) von der Bilderzeugungsober­ fläche (8), eines Erkennens eines zweiten Falles (122) des Entfernens, kurzen und im wesentlichen bewegungs­ freien Wiederaufsetzens und anschließenden Entfernens des Fingers (3) von der Bilderzeugungsoberfläche (8), wobei der erste und der zweite Fall innerhalb einer ausgewählten Zeitdauer stattfinden, und daraufhin, als Antwort sauf einen solchen ersten und zweiten Fall des Erkennens, eines Durchführens einer ausgewählten Ma­ schinenoperation aufweist.
DE10209797A 2001-03-21 2002-03-06 Optische Pseudo-Rollkugel zur Steuerung des Betriebs einer Vorrichtung oder Maschine Ceased DE10209797A1 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US09/813,624 US6677929B2 (en) 2001-03-21 2001-03-21 Optical pseudo trackball controls the operation of an appliance or machine

Publications (1)

Publication Number Publication Date
DE10209797A1 true DE10209797A1 (de) 2002-10-17

Family

ID=25212939

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10209797A Ceased DE10209797A1 (de) 2001-03-21 2002-03-06 Optische Pseudo-Rollkugel zur Steuerung des Betriebs einer Vorrichtung oder Maschine

Country Status (5)

Country Link
US (1) US6677929B2 (de)
JP (1) JP2002366297A (de)
DE (1) DE10209797A1 (de)
GB (1) GB2373837A (de)
TW (1) TW563091B (de)

Families Citing this family (243)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7154484B2 (en) * 2000-01-14 2006-12-26 Sony Computer Entertainment Inc. Recording medium, computer and method for selecting computer display items
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US7289649B1 (en) * 2000-08-10 2007-10-30 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Fingerprint imager
KR100391769B1 (ko) * 2000-09-02 2003-07-16 삼성전자주식회사 이동통신 단말기의 키입력 방법
JP4027616B2 (ja) * 2001-04-20 2007-12-26 三菱電機株式会社 ポインティングデバイス装置および携帯電話機
US6809723B2 (en) * 2001-05-14 2004-10-26 Agilent Technologies, Inc. Pushbutton optical screen pointing device
US6816154B2 (en) * 2001-05-30 2004-11-09 Palmone, Inc. Optical sensor based user interface for a portable electronic device
CN100350364C (zh) * 2001-12-21 2007-11-21 西门子公司 采集和显示运动的装置
US7055749B2 (en) * 2002-06-03 2006-06-06 Symbol Technologies, Inc. Re-configurable trigger assembly
JP2004014383A (ja) * 2002-06-10 2004-01-15 Smk Corp 接触式入力装置
US20030231164A1 (en) * 2002-06-18 2003-12-18 Blumer Larry L. Keyboard controlled and activated pointing device for use with a windowing system display
KR20040000954A (ko) * 2002-06-26 2004-01-07 삼성전자주식회사 이동통신단말기에 있어서 지문인식 방향 선택 방법
US20040085290A1 (en) * 2002-11-06 2004-05-06 Bryan Scott Manipulating the position of a horizontal-vertical visual indicator on a PDA display via a one-hand manual screen horizontal-vertical visual indicator device
US7102617B2 (en) * 2002-12-30 2006-09-05 Motorola, Inc. Compact optical pointing apparatus and method
FI20022282A0 (fi) * 2002-12-30 2002-12-30 Nokia Corp Menetelmä vuorovaikutuksen mahdollistamiseksi elektronisessa laitteessa ja elektroninen laite
US7064744B2 (en) * 2003-04-18 2006-06-20 Forward Electronics Co., Ltd. Optical induction/trackball dual-mode mouse
US7313255B2 (en) * 2003-05-19 2007-12-25 Avago Technologies Ecbu Ip Pte Ltd System and method for optically detecting a click event
US7064942B2 (en) * 2003-05-19 2006-06-20 Silicon Integrated Systems Corp. ESD protection circuit with tunable gate-bias
KR101085996B1 (ko) 2003-06-02 2011-11-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 광전자 입력 디바이스, 이러한 디바이스의 제조 방법 및 이러한 디바이스에 의한 물체의 동작 측정 방법
US7161585B2 (en) * 2003-07-01 2007-01-09 Em Microelectronic-Marin Sa Displacement data post-processing and reporting in an optical pointing device
US7568161B2 (en) * 2003-08-13 2009-07-28 Melia Technologies, Ltd Overcoming double-click constraints in a mark-up language environment
US7587072B2 (en) * 2003-08-22 2009-09-08 Authentec, Inc. System for and method of generating rotational inputs
US7221356B2 (en) * 2004-02-26 2007-05-22 Microsoft Corporation Data input device and method for detecting an off-surface condition by a laser speckle size characteristic
US8842070B2 (en) * 2004-03-17 2014-09-23 Intel Corporation Integrated tracking for on screen navigation with small hand held devices
JP4773060B2 (ja) * 2004-04-20 2011-09-14 富士通コンポーネント株式会社 コードレスポインティングデバイス装置及び情報端末装置
TWI269206B (en) * 2004-05-05 2006-12-21 Sunplus Technology Co Ltd Setting device for changing the resolution of the track of a multi-step mouse
US7773070B2 (en) 2004-05-21 2010-08-10 Cypress Semiconductor Corporation Optical positioning device using telecentric imaging
US20050258346A1 (en) * 2004-05-21 2005-11-24 Silicon Light Machines Corporation Optical positioning device resistant to speckle fading
US7285766B2 (en) * 2004-05-21 2007-10-23 Silicon Light Machines Corporation Optical positioning device having shaped illumination
US7042575B2 (en) * 2004-05-21 2006-05-09 Silicon Light Machines Corporation Speckle sizing and sensor dimensions in optical positioning device
US20050259097A1 (en) * 2004-05-21 2005-11-24 Silicon Light Machines Corporation Optical positioning device using different combinations of interlaced photosensitive elements
US20050259078A1 (en) * 2004-05-21 2005-11-24 Silicon Light Machines Corporation Optical positioning device with multi-row detector array
US7268341B2 (en) 2004-05-21 2007-09-11 Silicon Light Machines Corporation Optical position sensing device including interlaced groups of photosensitive elements
US8044932B2 (en) * 2004-06-08 2011-10-25 Samsung Electronics Co., Ltd. Method of controlling pointer in mobile terminal having pointing device
US8463315B2 (en) 2004-06-21 2013-06-11 Research In Motion Limited Handheld wireless communication device
US7542072B2 (en) * 2004-07-28 2009-06-02 The University Of Maryland Device using a camera and light polarization for the remote displacement of a cursor on a display
JP4243306B2 (ja) * 2004-08-20 2009-03-25 クルシアルテック シーオー.,エルティーディー 超薄型の光学式ジョイスティックおよび超薄型の光学式ジョイスティックを含んだ個人用携帯端末機
JP2006092814A (ja) * 2004-09-22 2006-04-06 Alps Electric Co Ltd 操作装置
EP1805580A1 (de) * 2004-10-05 2007-07-11 Crucialtec Co., Ltd. Verfahren zur buchstabeneingabe unter verwendung eines zeigers für ein tragbares gerät und das tragbare gerät
US7138620B2 (en) 2004-10-29 2006-11-21 Silicon Light Machines Corporation Two-dimensional motion sensor
US7248345B2 (en) * 2004-11-12 2007-07-24 Silicon Light Machines Corporation Signal processing method for use with an optical navigation system
US8981876B2 (en) 2004-11-15 2015-03-17 Avago Technologies General Ip (Singapore) Pte. Ltd. Piezoelectric resonator structures and electrical filters having frame elements
WO2006068746A2 (en) * 2004-11-19 2006-06-29 Silicon Light Machines Corporation Dense multi-axis array for motion sensing
CN100505796C (zh) * 2004-11-24 2009-06-24 中兴通讯股份有限公司 一种手机显示时间的方法
US7435942B2 (en) * 2004-12-02 2008-10-14 Cypress Semiconductor Corporation Signal processing method for optical sensors
US7791434B2 (en) * 2004-12-22 2010-09-07 Avago Technologies Wireless Ip (Singapore) Pte. Ltd. Acoustic resonator performance enhancement using selective metal etch and having a trench in the piezoelectric
US7864159B2 (en) 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
US20060227129A1 (en) * 2005-03-30 2006-10-12 Cheng Peng Mobile communication terminal and method
US9152840B2 (en) * 2005-06-23 2015-10-06 Nokia Technologies Oy Method and program of controlling electronic device, electronic device and subscriber equipment
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
GB0519196D0 (en) * 2005-09-20 2005-10-26 James David Multi-function processor for mobile digital camera devices
US20070120828A1 (en) * 2005-11-30 2007-05-31 Research In Motion Limited Keyboard with two-stage keys for navigation
US7567235B2 (en) 2005-12-12 2009-07-28 Cypress Semiconductor Corporation Self-aligning optical sensor package
US7765251B2 (en) * 2005-12-16 2010-07-27 Cypress Semiconductor Corporation Signal averaging circuit and method for sample averaging
US8471191B2 (en) 2005-12-16 2013-06-25 Cypress Semiconductor Corporation Optical navigation system having a filter-window to seal an enclosure thereof
US7737948B2 (en) * 2005-12-20 2010-06-15 Cypress Semiconductor Corporation Speckle navigation system
US7298460B2 (en) * 2006-01-03 2007-11-20 Silicon Light Machines Corporation Method for determining motion using a velocity predictor
US7770118B2 (en) * 2006-02-13 2010-08-03 Research In Motion Limited Navigation tool with audible feedback on a handheld communication device having a full alphabetic keyboard
US8000741B2 (en) * 2006-02-13 2011-08-16 Research In Motion Limited Handheld wireless communication device with chamfer keys
US8537117B2 (en) 2006-02-13 2013-09-17 Blackberry Limited Handheld wireless communication device that selectively generates a menu in response to received commands
US7884801B1 (en) 2006-02-16 2011-02-08 Cypress Semiconductor Corporation Circuit and method for determining motion with redundant comb-arrays
US7297912B1 (en) 2006-03-27 2007-11-20 Silicon Light Machines Corporation Circuit and method for reducing power consumption in an optical navigation system having redundant arrays
US7721609B2 (en) 2006-03-31 2010-05-25 Cypress Semiconductor Corporation Method and apparatus for sensing the force with which a button is pressed
US7809035B2 (en) * 2006-03-31 2010-10-05 Cypress Semiconductor Corporation Eye-safe laser navigation sensor
US7712039B2 (en) * 2006-03-31 2010-05-04 Microsoft Corporation Setting control using edges of a user interface
US7492445B1 (en) 2006-06-05 2009-02-17 Cypress Semiconductor Corporation Method and apparatus for robust velocity prediction
US7720552B1 (en) * 2006-06-05 2010-05-18 Rockwell Automation Technologies, Inc. Virtual knob lever arm as analog control element
US7755604B2 (en) 2006-06-19 2010-07-13 Cypress Semiconductor Corporation Optical navigation sensor with tracking and lift detection for optically transparent contact surfaces
JP4882540B2 (ja) * 2006-06-23 2012-02-22 富士通株式会社 移動指示装置、入力方法、入力プログラム
US7728816B2 (en) * 2006-07-10 2010-06-01 Cypress Semiconductor Corporation Optical navigation sensor with variable tracking resolution
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
USRE46020E1 (en) * 2006-08-22 2016-05-31 Samsung Electronics Co., Ltd. Method of controlling pointer in mobile terminal having pointing device
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
WO2008038239A2 (en) * 2006-09-29 2008-04-03 Nxp B.V. Processing a signal from a pointing device sensor
US7742514B1 (en) 2006-10-31 2010-06-22 Cypress Semiconductor Corporation Laser navigation sensor
US7566858B2 (en) * 2006-11-07 2009-07-28 Apple Inc. Remote control systems that can distinguish stray light sources
US20080136784A1 (en) * 2006-12-06 2008-06-12 Motorola, Inc. Method and device for selectively activating a function thereof
US8072429B2 (en) 2006-12-22 2011-12-06 Cypress Semiconductor Corporation Multi-axial touch-sensor device with multi-touch resolution
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US8314774B1 (en) 2007-07-09 2012-11-20 Cypress Semiconductor Corporation Method and apparatus for quasi-3D tracking using 2D optical motion sensors
US8263921B2 (en) 2007-08-06 2012-09-11 Cypress Semiconductor Corporation Processing methods for speckle-based motion sensing
JP5586826B2 (ja) 2007-09-28 2014-09-10 京セラ株式会社 携帯電子機器
KR101125528B1 (ko) * 2007-11-26 2012-03-23 놀레스 일렉트로닉스 아시아 피티이 리미티드 전자 장치의 입력 장치
US20090167702A1 (en) * 2008-01-02 2009-07-02 Nokia Corporation Pointing device detection
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8259069B1 (en) 2008-01-11 2012-09-04 Cypress Semiconductor Corporation Speckle-based optical navigation on curved tracking surface
US8031176B1 (en) 2008-01-22 2011-10-04 Cypress Semiconductor Corporation Optical navigation system using a single-package motion sensor
WO2009114821A2 (en) * 2008-03-14 2009-09-17 Cypress Semiconductor Apparatus and method of finger-motion based navigation using optical sensing
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
TWI375162B (en) 2008-05-02 2012-10-21 Hon Hai Prec Ind Co Ltd Character input method and electronic system utilizing the same
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8212776B2 (en) * 2008-09-23 2012-07-03 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical finger navigation device with integrated tactile switch
US8541727B1 (en) 2008-09-30 2013-09-24 Cypress Semiconductor Corporation Signal monitoring and control system for an optical navigation sensor
US20100146428A1 (en) * 2008-10-08 2010-06-10 Research In Motion Limited Content-Dynamic Touch Screen Activity Bar
US7723659B1 (en) 2008-10-10 2010-05-25 Cypress Semiconductor Corporation System and method for screening semiconductor lasers
JP2012507777A (ja) * 2008-11-03 2012-03-29 クルシアルテック カンパニー リミテッド ポインティングデバイスを備えた端末装置および画面制御方法
EP2356550A1 (de) * 2008-12-08 2011-08-17 Nokia Corporation Gesteneingabe unter verwendung einer optischen eingabeeinrichtung
US9959870B2 (en) 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
US8217334B1 (en) 2008-12-24 2012-07-10 Cypress Semiconductor Corporation Optical navigation sensor including a spatial frequency filter
US20100164756A1 (en) * 2008-12-30 2010-07-01 Nokia Corporation Electronic device user input
US8711096B1 (en) 2009-03-27 2014-04-29 Cypress Semiconductor Corporation Dual protocol input device
GB2470554A (en) * 2009-05-26 2010-12-01 St Microelectronics Ltd Optical navigation device with housing and optical transmission element to a mousing surface
GB2470553A (en) * 2009-05-26 2010-12-01 St Microelectronics Ltd Optical computer input with single frustrated total internal reflection mousing surface
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US8907897B2 (en) * 2009-06-16 2014-12-09 Intel Corporation Optical capacitive thumb control with pressure sensor
US8902023B2 (en) * 2009-06-24 2014-12-02 Avago Technologies General Ip (Singapore) Pte. Ltd. Acoustic resonator structure having an electrode with a cantilevered portion
US8248185B2 (en) * 2009-06-24 2012-08-21 Avago Technologies Wireless Ip (Singapore) Pte. Ltd. Acoustic resonator structure comprising a bridge
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
TW201115404A (en) * 2009-10-21 2011-05-01 Kye Systems Corp Wear-on type input device
US20110115814A1 (en) * 2009-11-16 2011-05-19 Microsoft Corporation Gesture-controlled data visualization
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US9243316B2 (en) 2010-01-22 2016-01-26 Avago Technologies General Ip (Singapore) Pte. Ltd. Method of fabricating piezoelectric material with selected c-axis orientation
US8796904B2 (en) 2011-10-31 2014-08-05 Avago Technologies General Ip (Singapore) Pte. Ltd. Bulk acoustic resonator comprising piezoelectric layer and inverse piezoelectric layer
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
KR101275388B1 (ko) * 2010-04-14 2013-06-14 삼성전기주식회사 광포인팅 모듈 및 전자 장치
JP5634735B2 (ja) * 2010-04-14 2014-12-03 株式会社モリタ製作所 医療用照明装置及び医療用診断装置
US8432301B2 (en) * 2010-08-10 2013-04-30 Mckesson Financial Holdings Gesture-enabled keyboard and associated apparatus and computer-readable storage medium
JP5815932B2 (ja) * 2010-10-27 2015-11-17 京セラ株式会社 電子機器
US8816964B2 (en) 2010-11-26 2014-08-26 Mckesson Financial Holdings Sensor-augmented, gesture-enabled keyboard and associated apparatus and computer-readable storage medium
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US8546741B2 (en) 2011-01-13 2013-10-01 Avago Technologies General Ip (Singapore) Pte. Ltd. Compact optical finger navigation system based on speckles with an optical element including an optical redirection surface
US8962443B2 (en) 2011-01-31 2015-02-24 Avago Technologies General Ip (Singapore) Pte. Ltd. Semiconductor device having an airbridge and method of fabricating the same
US9104268B2 (en) 2011-02-03 2015-08-11 Avago Technologies General Ip (Singapore) Pte. Ltd. Compact optical finger navigation system with illumination via redirection surface holes
US9154112B2 (en) 2011-02-28 2015-10-06 Avago Technologies General Ip (Singapore) Pte. Ltd. Coupled resonator filter comprising a bridge
US9203374B2 (en) 2011-02-28 2015-12-01 Avago Technologies General Ip (Singapore) Pte. Ltd. Film bulk acoustic resonator comprising a bridge
US9136818B2 (en) 2011-02-28 2015-09-15 Avago Technologies General Ip (Singapore) Pte. Ltd. Stacked acoustic resonator comprising a bridge
US9083302B2 (en) 2011-02-28 2015-07-14 Avago Technologies General Ip (Singapore) Pte. Ltd. Stacked bulk acoustic resonator comprising a bridge and an acoustic reflector along a perimeter of the resonator
US9148117B2 (en) 2011-02-28 2015-09-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Coupled resonator filter comprising a bridge and frame elements
US9048812B2 (en) 2011-02-28 2015-06-02 Avago Technologies General Ip (Singapore) Pte. Ltd. Bulk acoustic wave resonator comprising bridge formed within piezoelectric layer
US9425764B2 (en) 2012-10-25 2016-08-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Accoustic resonator having composite electrodes with integrated lateral features
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US20120242620A1 (en) * 2011-03-22 2012-09-27 Research In Motion Limited Combined optical navigation and button
US8863019B2 (en) * 2011-03-29 2014-10-14 International Business Machines Corporation Modifying numeric data presentation on a display
US9444426B2 (en) 2012-10-25 2016-09-13 Avago Technologies General Ip (Singapore) Pte. Ltd. Accoustic resonator having integrated lateral feature and temperature compensation feature
US8575820B2 (en) 2011-03-29 2013-11-05 Avago Technologies General Ip (Singapore) Pte. Ltd. Stacked bulk acoustic resonator
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US20120310642A1 (en) 2011-06-03 2012-12-06 Apple Inc. Automatically creating a mapping between text data and audio data
US8989492B2 (en) * 2011-06-03 2015-03-24 Apple Inc. Multi-resolution spatial feature extraction for automatic handwriting recognition
US8350445B1 (en) 2011-06-16 2013-01-08 Avago Technologies Wireless Ip (Singapore) Pte. Ltd. Bulk acoustic resonator comprising non-piezoelectric layer and bridge
CN102959494B (zh) 2011-06-16 2017-05-17 赛普拉斯半导体公司 具有电容式传感器的光学导航模块
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8896553B1 (en) 2011-11-30 2014-11-25 Cypress Semiconductor Corporation Hybrid sensor module
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
KR20150104615A (ko) 2013-02-07 2015-09-15 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
CN105027197B (zh) 2013-03-15 2018-12-14 苹果公司 训练至少部分语音命令***
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
EP3008641A1 (de) 2013-06-09 2016-04-20 Apple Inc. Vorrichtung, verfahren und grafische benutzeroberfläche für gesprächspersistenz über zwei oder mehrere instanzen eines digitaler assistenten
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
AU2014278595B2 (en) 2013-06-13 2017-04-06 Apple Inc. System and method for emergency calls initiated by voice command
CN105453026A (zh) 2013-08-06 2016-03-30 苹果公司 基于来自远程设备的活动自动激活智能响应
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
TWI566107B (zh) 2014-05-30 2017-01-11 蘋果公司 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
CN105929960A (zh) * 2016-04-29 2016-09-07 广东欧珀移动通信有限公司 基于指纹模组的音量控制方法及移动终端
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
DE102016119844A1 (de) * 2016-10-18 2018-04-19 Preh Gmbh Fingerabdrucksensor mit Rotationsgestenfunktionalität
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4024500A (en) 1975-12-31 1977-05-17 International Business Machines Corporation Segmentation mechanism for cursive script character recognition systems
DE3633008A1 (de) 1986-09-29 1988-04-07 Bosch Gmbh Robert Verfahren und vorrichtung zur eingabe von schriftzeichen in geraeten mit einer zifferntastatur
US5034989A (en) 1987-12-11 1991-07-23 Loh Shiu Chang On-line handwritten character recognition apparatus with non-ambiguity algorithm
US5058182A (en) 1988-05-02 1991-10-15 The Research Foundation Of State Univ. Of New York Method and apparatus for handwritten character recognition
KR910015956A (ko) * 1990-02-28 1991-09-30 이헌조 그래픽 온 스크린 디스플레이
US5105468A (en) 1991-04-03 1992-04-14 At&T Bell Laboratories Time delay neural network for printed and cursive handwritten character recognition
US5327160A (en) * 1991-05-09 1994-07-05 Asher David J Touch sensitive user interface for television control
JPH05290221A (ja) 1992-04-15 1993-11-05 Pioneer Electron Corp オンライン手書文字認識装置
GB9226137D0 (en) 1992-12-15 1993-02-10 Ibm Data entry system
KR950013127B1 (ko) 1993-03-15 1995-10-25 김진형 영어 문자 인식 방법 및 시스템
US5644653A (en) 1993-05-07 1997-07-01 Canon Kabushiki Kaisha Information processing apparatus and control method thereof having user character recognition
KR0170326B1 (ko) * 1994-07-27 1999-03-30 김광호 원격제어방법 및 그 장치
CA2139094C (en) 1994-12-23 1999-04-13 Abdel Naser Al-Karmi Optical character recognition of handwritten or cursive text
US5578813A (en) 1995-03-02 1996-11-26 Allen; Ross R. Freehand image scanning device which compensates for non-linear movement
CA2176691C (en) 1995-05-15 2004-04-13 Junji Tanaka Hand-written character recognition apparatus and facsimile apparatus
TW338815B (en) 1995-06-05 1998-08-21 Motorola Inc Method and apparatus for character recognition of handwritten input
US5970170A (en) 1995-06-07 1999-10-19 Kodak Limited Character recognition system indentification of scanned and real time handwritten characters
US5786804A (en) 1995-10-06 1998-07-28 Hewlett-Packard Company Method and system for tracking attitude
US6054984A (en) * 1997-05-27 2000-04-25 Hewlett-Packard Company System and method for graphically manipulating display elements in a signal measurement system
US6057540A (en) 1998-04-30 2000-05-02 Hewlett-Packard Co Mouseless optical and position translation type screen pointer control for a computer system
US20010040551A1 (en) * 1999-07-29 2001-11-15 Interlink Electronics, Inc. Hand-held remote computer input peripheral with touch pad used for cursor control and text entry on a separate display
GB2355055A (en) 1999-10-09 2001-04-11 Rover Group A control system for a vehicle

Also Published As

Publication number Publication date
GB2373837A (en) 2002-10-02
TW563091B (en) 2003-11-21
US6677929B2 (en) 2004-01-13
US20020135565A1 (en) 2002-09-26
JP2002366297A (ja) 2002-12-20
GB0203180D0 (en) 2002-03-27

Similar Documents

Publication Publication Date Title
DE10209797A1 (de) Optische Pseudo-Rollkugel zur Steuerung des Betriebs einer Vorrichtung oder Maschine
DE60027515T2 (de) Elektronisches Gerät
DE69204045T2 (de) Verfahren und Vorrichtung zum optischen Eingang von Befehlen oder Daten.
DE102009032637B4 (de) Bildvergrößerungssystem für eine Computerschnittstelle
DE60212976T2 (de) Verfahren und Benutzerschnittstelle zur Zeicheneingabe
DE10221415B4 (de) Optische Druckknopfbildschirm-Zeigevorrichtung
DE19525644C2 (de) Vorrichtung zur Eingabe von Daten in einen Computer
DE60124539T2 (de) Auf einem head-up anzeigegerät basierende sicherheitseinrichtung für kraftfahrzeuge
DE69937592T2 (de) Verfahren und Vorrichtung zur Zeicheneingabe mit virtueller Tastatur
DE69023761T2 (de) Interaktives Datenverarbeitungsgerät mit Griffel.
DE202013012673U1 (de) Mobiles Endgerät
DE202011110758U1 (de) Mobiles Endgerät
DE112010002760T5 (de) Benutzerschnittstelle
DE19738425A1 (de) Auf intuitive Bewegungen gestützte graphische Benutzerschnittstelle
DE202007013923U1 (de) Mehrfachereignis-Eingabesystem
DE102007032144A1 (de) Operationsmodus-Konvertierungsgerät, tragbares Kommunikationsendgerät mit dem Operationsmodus-Konvertierungsgerät und Verfahren zum Konvertieren des Operationsmodus unter Verwendung desselben
DE69221204T2 (de) Datenverarbeitungsgerät zur Fensterpositionensteuerung
EP0924948A1 (de) Funkbetriebenes Kommunikationsendgerät mit Navigationstaste
DE102005021527A1 (de) Anordnung zum Eingeben von Schriftzeichen
DE102021113770A1 (de) Verfahren und Systeme zur Bereitstellung von Statusanzeigen bei einem elektronischen Gerät
DE10028138A1 (de) Vorrichtung zur mobilen Kommunikation
DE3511353A1 (de) Anordnung zum eingeben und verarbeiten von zeichen und/oder grafischen mustern
WO2003077108A2 (de) Verfahren zum steuern eines kommunikationsgeräts und dadurch gesteuertes kommunikationsgerät
EP1063607A1 (de) Vorrichtung und Verfahren zur Eingabe von Streuerinformationen in Computersysteme
DE10036388B4 (de) Tragbares, mit einer Betätigungseinrichtung ausgestattetes elektronisches Gerät

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: AVAGO TECHNOLOGIES ECBU IP (SINGAPORE) PTE. LTD.,

8128 New person/name/address of the agent

Representative=s name: DILG HAEUSLER SCHINDELMANN PATENTANWAELTE, 80336 M

8128 New person/name/address of the agent

Representative=s name: DILG HAEUSLER SCHINDELMANN PATENTANWALTSGESELLSCHA

R016 Response to examination communication
R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: ELAN MICROELECTRONICS CORP., TW

Free format text: FORMER OWNER: AVAGO TECHNOLOGIES ECBU IP (SINGAPORE) PTE. LTD., SINGAPORE, SG

Effective date: 20120329

R082 Change of representative

Representative=s name: DILG HAEUSLER SCHINDELMANN PATENTANWALTSGESELL, DE

Effective date: 20120329

R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final