-
HINTERGRUND DER ERFINDUNG
-
1. Gebiet der Erfindung
-
Die
vorliegende Erfindung bezieht sich allgemein auf Gestikulieren,
das mit berührungsempfindlichen
Einrichtungen zusammenhängt.
-
2. Beschreibung des Standes
der Technik
-
Heutzutage
gibt es viele Arten von Eingabeeinrichtungen, um in einem Computersystem
Vorgänge
durchzuführen.
Die Vorgänge
entsprechen im Allgemeinen dem Bewegen eines Zeigers (Cursors) und
dem Auswählen
auf einem Anzeigebildschirm. Die Vorgänge können auch Blättern, Durchlaufen (Scrollen),
Mitführen,
Zoomen, usw. umfassen. Beispielhaft können die Eingabeeinrichtungen
Knöpfe, Schalter,
Tastaturen, Mäuse,
Rollkugeln (Trackballs), Berührungsfelder
(Touchpads), Steuerknüppel
(Joysticks), Berührungsbildschirme
(Touchscreens) u. Ä. umfassen.
Jede dieser Einrichtungen hat Vorteile und Nachteile, die berücksichtigt
werden, wenn das Computersystem entworfen wird.
-
Knöpfe und
Schalter sind im Allgemeinen von mechanischer Art und bieten eine
beschränkte Kontrolle
bezüglich
der Bewegung eines Zeigers (Cursors) und dem Auswählen. Zum
Beispiel sind sie im Allgemeinen dafür vorgesehen, den Zeiger in
eine bestimmte Richtung zu bewegen (z. B. Pfeiltasten) oder um bestimmte
Auswahlen zu treffen (z. B. Eingabe, Löschen, Nummer, usw.).
-
Bei
Mäusen
entspricht die Bewegung des Eingabezeigers den relativen Bewegungen
der Maus, während
der Nutzer die Maus entlang einer Oberfläche bewegt. Bei Rollkugeln
(Trackballs) entspricht die Bewegung des Eingabezeigers den relativen
Bewegungen einer Kugel, während
der Nutzer die Kugel innerhalb eines Gehäuses bewegt. Mäuse und
Rollkugeln umfassen ebenso einen oder mehrere Knöpfe um Auswahlen vorzunehmen.
Mäuse können auch
Bildlaufräder
(Scrollwheels) umfassen, die es einem Nutzer erlauben, die graphische
Nutzeroberfläche
zu durchqueren, indem das Rad einfach vorwärts oder rückwärts gedreht wird.
-
Bei
Berührungsfeldern
(Touchpads) entspricht die Bewegung des Eingabezeigers den relativen
Bewegungen des Fingers (oder Stiftes) des Nutzers, während der
Finger entlang einer Oberfläche des
Berührungsfeldes
bewegt wird. Andererseits sind Berührungsbildschirme (Touchscreens)
eine Art Anzeigebildschirm, mit einer berührungsempfindlichen durchsichtigen
Tafel, die den Bildschirm bedeckt. Wenn ein Nutzer einen Berührungsbildschirm verwendet,
führt er
auf dem Anzeigebildschirm eine Auswahl durch, indem er direkt auf
Objekte der graphischen Nutzeroberfläche auf dem Bildschirm zeigt (üblicherweise
mit einem Stift oder Finger).
-
Um
zusätzliche
Funktionalitäten
zu bieten, wurden bei einigen dieser Eingabeeinrichtungen Gesten
implementiert. Zum Beispiel können
bei Berührungsfeldern
Auswahlen erfolgen, wenn ein einfaches oder mehrfaches Antippen
der Oberfläche
des Berührungsfeldes
erfasst wird. In manchen Fällen kann
jeglicher Abschnitt des Berührungsfeldes
angetippt werden, und in anderen Fällen kann ein eigens vorgesehener
Abschnitt des Berührungsfeldes
angetippt werden. Zusätzlich
zu Auswahlen kann ein Bildlauf (Scrolling) ausgelöst werden,
durch Einsatz der Bewegung eines Fingers am Rande des Berührungsfeldes.
-
Die
US-Patente 5,612,719 und
5,590,219 , die an Apple
Computer, Inc. übertragen
wurden, beschreiben einige andere Verwendungen von Gesten. Die
5,612,719 offenbart einen
Knopf, der sich auf dem Bildschirm befindet, der auf wenigstens
zwei verschiedene Knopfgesten reagiert, die auf dem Bildschirm am
oder in der Nähe
des Knopfes ausgeführt werden.
Die
5,590,219 offenbart
ein Verfahren zur Erkennung einer Eingabe in der Form einer ellipsenförmigen Geste
auf einem Anzeigebildschirm eines Computersystems.
-
In
letzter Zeit wurden fortgeschrittenere Gesten implementiert. Zum
Beispiel kann ein Bildlauf ausgelöst werden, indem man vier Finger
auf dem Berührungsfeld
platziert, sodass die Bildlaufgeste erkannt wird, und indem man
danach diese Finger auf dem Berührungsfeld
bewegt, um Bildlaufereignisse durchzuführen. Die Verfahren zur Implementierung dieser
fortgeschrittenen Gesten haben jedoch mehrere Nachteile. Zum Beispiel
kann eine Geste, sobald sie festgelegt ist, nicht verändert werden,
bis der Nutzer den Gestenzustand zurücksetzt. Wenn bei Berührungsfeldern
z. B. vier Finger einem Bildlauf entsprechen und der Nutzer einen
Daumen ablegt, nachdem die vier Finger erkannt wurden, wird jegliche
Handlung, die der neuen Geste mit vier Fingern und Daumen zugeordnet
ist, nicht durchgeführt,
bis die gesamte Hand vom Berührungsfeld
abgehoben wird und wieder abgelegt wird (z. B. Zurücksetzen). Einfach
gesagt, kann der Nutzer nicht mittendrin die Gestenzustände verändern. In ähnlicher
Weise kann nur eine Geste gleichzeitig durchgeführt werden. Das heißt, dass
mehrere Gesten nicht gleichzeitig durchgeführt werden können.
-
Auf
der Grundlage des oben Gesagten besteht ein Bedürfnis für Verbesserungen in der Weise, in
welcher Gesten auf berührungsempfindlichen
Einrichtungen durchgeführt
werden.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Die
Erfindung bezieht sich in einer Ausführungsform auf eine in der
Hand haltbare elektronische Vorrichtung, mit einem Mobiltelefon,
einer Medienabspieleinrichtung, einer berührungsempfindlichen Eingabeoberfläche, einer
Anzeige, welche mit der berührungsempfindlichen
Eingabeoberfläche
zumindest teilweise überlappt,
einer listenbasierten Nutzeroberfläche, die eine Liste an Medienobjekten umfasst,
die der Medienabspieleinrichtung zur Verfügung stehen, wobei jedes Medienobjekt
in einer oder mehreren horizontalen Linien beschrieben ist, wobei die
Liste eine vertikale Ansammlung von horizontalen Linien ist, einer
Prozessoreinheit, die mit der berührungsempfindlichen Eingabeoberfläche gekoppelt
ist, um so Steueranweisungen zu empfangen, die das Mobiltelefon
und die Medienabspieleinrichtung betreffen, wobei die Steueranweisungen
wenigstens eine Angabe umfassen, die einer ersten Geste zugeordnet
ist, wobei die erste Geste eine Bewegung eines Objekts umfasst,
die allgemein senkrecht im Verhältnis
zur listenbasierten Nutzeroberfläche
und nahe der berührungsempfindlichen
Eingabeoberfläche
ist, und einem Softwaremodul, das dafür angepasst ist, innerhalb
der Prozessoreinheit ausgeführt zu
werden, und die listenbasierte Nutzeroberfläche dazu zu veranlassen, beim
Auftreten der ersten Geste und während
eines gewissen Zeitraums danach durchzulaufen.
-
Die
Erfindung bezieht sich in einer weiteren Ausführungsform auf eine in der
Hand haltbare elektronische Vorrichtung, mit einem Mobiltelefon;
einer Medienabspieleinrichtung mit einer listenbasierten Nutzeroberfläche, wobei
die listenbasierte Nutzeroberfläche
eine vertikale Liste an horizontalen Linien umfasst, wobei jede
Linie die Beschreibung eines Medienobjekts aufweist; einer berührungsempfindlichen
Eingabeoberfläche,
die dafür
angepasst ist, eine Steuerung sowohl des Mobiltelefons als auch der
Medienabspieleinrichtung bereitzustellen; einer Prozessoreinheit,
die mit der berührungsempfindlichen
Eingabeoberfläche
operativ gekoppelt ist und dafür
programmiert ist, Angaben zu empfangen, die Eingaben auf der berührungsempfindlichen
Eingabeoberfläche
zugeordnet sind, wobei solche Angaben wenigstens eine Gestenangabe
umfassen, die einer Bewegung eines Objekts allgemein rechtwinklig
zur listenbasierten Nutzeroberfläche
zugeordnet ist, wobei die Prozessoreinheit weiterhin dafür programmiert
ist, bei Erhalt der Gestenangabe und während eines gewissen Zeitraums
danach ein Durchlaufen der listenbasierten Nutzeroberfläche zu verursachen; und
einer Anzeigeeinrichtung, die mit der Prozessoreinheit operativ
gekoppelt ist, und dafür
konfiguriert ist, die listenbasierte Nutzeroberfläche zu präsentieren.
-
Ein
computerimplementiertes Verfahren zur Verarbeitung von Berührungseingaben
umfasst das Lesen von Daten von einem Mehrpunktberührungsbildschirm.
Die Daten betreffen Berührungseingaben im
Verhältnis
zum Berührungsbildschirm.
Das Verfahren umfasst auch das Identifizieren wenigstens einer Mehrpunktgeste,
auf der Grundlage der Daten des Mehrpunktberührungsbildschirms.
-
Ein
Gestikverfahren umfasst die gleichzeitige Erfassung mehrerer Berührungen
an verschiedenen Punkten auf einer berührungsempfindlichen Oberfläche. Das
Verfahren umfasst ebenso das Aufteilen der mehreren Berührungen
in wenigstens zwei getrennte Gestikeingaben, die gleichzeitig stattfinden.
Jede Gestikeingabe hat eine andere Funktion, wie z. B. Zoomen, Mitführen, Drehen
usw.
-
Ein
anderes Gestikverfahren umfasst die gleichzeitige Erfassung einer
Mehrzahl von Gesten, die gleichzeitig in Bezug auf eine berührungsempfindliche
Einrichtung durchgeführt
werden. Das Verfahren umfasst ebenso das Erzeugen verschiedener Befehle
für jede
der Gesten, die erfasst wurden.
-
Ein
anderes Gestikverfahren umfasst die Anzeige eines grafischen Bildes
auf einem Anzeigebildschirm. Das Verfahren umfasst ebenso die Erfassung einer
Mehrzahl gleichzeitiger Berührungen
auf einer berührungsempfindlichen
Einrichtung. Das Verfahren umfasst weiterhin das Verbinden der erfassten
Mehrfachbe rührungen
mit dem grafischen Bild, das auf dem Anzeigebildschirm dargestellt
wird.
-
Ein
Verfahren zum Aufrufen eines Elements einer Nutzeroberfläche auf
einer Anzeige mittels eines Mehrpunktberührungsbildschirms eines Computersystems
umfasst die Erfassung und das Analysieren der gleichzeitigen Anwesenheit
zweier oder mehrerer Objekte, die sich in Kontakt mit dem Mehrpunktberührungsbildschirm
befinden. Das Verfahren umfasst ebenso das Auswählen eines Werkzeugs einer Nutzeroberfläche aus
einer Mehrzahl von zur Verfügung
stehenden Werkzeugen, um es für
die Interaktion mit einem Nutzer des Computersystems auf einer Anzeige
anzuzeigen, zumindest teilweise auf der Grundlage der Analyse. Das
Verfahren umfasst weiterhin das Kontrollieren des Oberflächenwerkzeugs zumindest
teilweise auf der Grundlage der weiteren Bewegung der Objekte im
Verhältnis
zum Mehrpunktberührungsbildschirm.
-
Ein
berührungsbasiertes
Verfahren umfasst das Erfassen einer Nutzereingabe, die über eine Mehrpunktfühleinrichtung
erfolgt. Die Nutzereingabe umfasst eine oder mehrere Eingaben. Jede
Eingabe hat eine eindeutige Kennung. Das Verfahren umfasst auch
die Klassifizierung, während
der Nutzereingabe, der Nutzereingabe als eine Eingabe für eine Verfolgung
oder für
eine Auswahl, wenn die Nutzereingabe eine eindeutige Kennung umfasst,
oder als Gesteneingabe, wenn die Nutzereingabe wenigstens zwei eindeutige
Kennungen umfasst. Das Verfahren umfasst weiterhin die Durchführung der
Verfolgung oder der Auswahl während
der Nutzereingabe, wenn die Nutzereingabe als eine Eingabe zur Verfolgung oder
zur Auswahl klassifiziert wird. Das Verfahren umfasst weiterhin
die Durchführung
einer oder mehrerer Steuerhandlungen während der Nutzereingabe, wenn
die Nutzereingabe als Gesteneingabe klassifiziert wird. Wobei die
Steuerhandlungen zumindest teilweise darauf basieren, welche Änderungen
zwischen den wenigstens zwei eindeutigen Kennungen erfolgen.
-
Ein
anderes berührungsbasiertes
Verfahren umfasst die Ausgabe einer graphischen Nutzeroberfläche auf
einer Anzeige. Das Verfahren umfasst ebenso das Erfassen einer Nutzereingabe
auf einer berührungsempfindlichen
Einrichtung. Das Verfahren umfasst weiterhin das Analysieren der
Nutzereingabe auf Merkmale hin, die auf ein Verfolgen, Auswählen oder
Gestikulieren hinweisen. Das Verfahren umfasst außerdem die
Kategorisierung der Nutzereingabe als eine Verfolgungs-, Auswahl-
oder Gestikeingabe. Das Verfahren umfasst weiterhin die Durchführung eines
Verfolgen (Tracking) oder einer Auswahl innerhalb der graphischen
Nutzeroberfläche,
wenn die Nutzereingabe als eine Verfolgungs- oder Auswahleingabe
kategorisiert wird. Weiterhin umfasst das Verfahren die Durchführung von
Steuerhandlungen innerhalb der graphischen Nutzeroberfläche, wenn
die Nutzereingabe als eine Gestikeingabe kategorisiert wird, wobei
die Handlungen auf der besonderen Gestikeingabe basieren.
-
Ein
anderes berührungsbasiertes
Verfahren umfasst das Einfangen eines anfänglichen Berührungsbildes.
Das Verfahren umfasst ebenso die Bestimmung des Berührungsmodus
auf der Grundlage des Berührungsbildes.
Das Verfahren umfasst weiterhin das Einfangen des nächsten Berührungsbildes.
Das Verfahren umfasst weiterhin die Bestimmung, ob sich der Berührungsmodus
zwischen dem anfänglichen
und dem nächsten
Berührungsbild
verändert
hat. Das Verfahren umfasst außerdem,
falls sich der Berührungsmodus
verändert
hat, das Festlegen des nächsten
Berührungsbildes
als das anfängliche
Berührungsbild
und eine Bestimmung des Berührungsmodus
basierend auf dem neuen anfänglichen
Berührungsbild.
Weiterhin umfasst das Verfahren, falls der Berührungsmodus gleichgeblieben
ist, einen Vergleich der Berührungsbilder
und die Durchführung
einer Steuerfunktion auf Grundlage des Vergleichs.
-
Ein
computerimplementiertes Verfahren zur Verarbeitung von Berührungseingaben
umfasst das Lesen von Daten von einem Berührungsbildschirm. Wobei die
Daten Berührungseingaben
im Verhältnis zum
Berührungsbildschirm
betreffen und der Berührungsbildschirm über Mehrpunktfähigkeiten
verfügt. Das
Verfahren umfasst ebenso die Umwandlung der Daten in eine Sammlung
von Merkmalen. Das Verfahren umfasst weiter die Klassifizierung
der Merkmale und die Gruppierung der Merkmale in eine oder mehrere
Merkmalsgruppen. Das Verfahren umfasst weiterhin die Berechnung
von Schlüsselparametern der
Merkmalsgruppen und die Zuordnung der Merkmalsgruppen zu Elementen
der Nutzeroberfläche
auf einer Anzeige.
-
Ein
anderes computerimplementiertes Verfahren umfasst die Ausgabe eines
grafischen Bildes. Das Verfahren umfasst ebenso das Empfangen einer Eingabe
in Form einer Gestik mit mehreren Berührungen über dem grafischen Bild. Das
Verfahren umfasst weiterhin das Verändern des grafischen Bildes basierend
auf und im Einklang mit der Eingabe in Form einer Gestik mit mehreren
Berührungen.
-
Ein
berührungsbasiertes
Verfahren umfasst den Empfang einer Gestikeingabe über einem
ersten Bereich. Das Verfahren umfasst ebenso das Erzeugen eines
ersten Befehls, wenn die Gestikeingabe über den ersten Bereich empfangen
wird. Das Verfahren umfasst ebenso den Empfang derselben Gestikeingabe über einem
zweiten Bereich. Das Verfahren umfasst weiterhin das Erzeugen eines
zweiten Befehls, wenn dieselbe Gestikeingabe über dem zweiten Bereich empfangen
wird. Wobei der zweite Befehl sich vom ersten Befehl unterscheidet.
-
Ein
Verfahren zur Erkennung mehrfacher Gestikeingaben umfasst den Empfang
eines gestenartigen Streichens mit mehreren Berührungen auf einer berührungsempfindlichen
Oberfläche.
Wobei das gestenartige Streichen mit mehreren Berührungen andauernd
den Kontakt mit der berührungsempfindlichen
Oberfläche
hält. Das
Verfahren umfasst ebenso das Erkennen einer ersten Gestikeingabe
während des
gestenartigen Streichens mit mehreren Berührungen. Das Verfahren umfasst
weiterhin das Erkennen einer zweiten Gestikeingabe während des
gestenartigen Streichens mit mehreren Berührungen.
-
Ein
computerimplementiertes Verfahren umfasst die Erfassung einer Mehrzahl
Berührungen
auf einer berührungsempfindlichen
Einrichtung. Das Verfahren umfasst ebenso das Bilden einer oder
mehrerer Berührungsgruppen
mit der Mehrzahl an Berührungen.
Das Verfahren umfasst weiterhin die Überwachung der Bewegung jeder
und innerhalb jeder der Berührungsgruppen.
Das Verfahren umfasst außerdem
die Erzeugung von Steuersignalen, wenn die Berührungen innerhalb der Berührungsgruppen
bewegt werden, oder wenn die Berührungsgruppen
in ihrer Gesamtheit bewegt werden.
-
Es
ist anzumerken, dass jedes der oben beschriebenen Verfahren implementiert
werden kann, indem eine berührungsbasierte
Eingabeeinrichtung wie z. B. ein Berührungsbildschirm oder ein Berührungsfeld
eingesetzt wird, insbesondere eine berührungsbasierte Mehrpunkteingabeeinrichtung,
und sogar noch insbesondere ein Mehrpunktberührungsbildschirm. Es ist auch
anzumerken, dass die Gesten, Gestenmodi, Gestikeingaben, usw. irgendeinem von
dem entsprechen können,
was weiter unten in der ausführlichen
Beschreibung beschrieben ist. Zum Beispiel können die Gesten einem Zoomen,
Mitführen,
Bildlauf, Drehen, Vergrößern, hervortretenden
Steuerelementen (floating controls), Zielzoomen, Blättern, der
Trägheit,
Tippen, Raddrehen und/oder Ähnlichem
zugeordnet sein.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
Die
Erfindung wird mit der folgenden detaillierten Beschreibung zusammen
mit den beigefügten Zeichnungen
leicht verstanden werden, in denen gleiche Bezugszeichen gleiche
strukturelle Elemente bezeichnen und in denen:
-
1 ein
Blockdiagramm eines Computersystems gemäß einer Ausführungsform
der vorliegenden Erfindung ist.
-
2 ein
Mehrpunktverarbeitungsverfahren ist.
-
3A und
B ein Bild gemäß einer
Ausführungsform
der vorliegenden Erfindung veranschaulichen.
-
4 eine
Gruppe von Merkmalen gemäß einer
Ausführungsform
der vorliegenden Erfindung veranschaulicht.
-
5 ein
Verfahren zur Berechnung von Parameter ist.
-
6A bis 6G eine
Drehgeste veranschaulichen.
-
7 ein
Diagramm eines berührungsbasierten
Verfahrens ist.
-
8 ein
Diagramm eines berührungsbasierten
Verfahrens ist.
-
9 ein
Diagramm eines berührungsbasierten
Verfahrens ist.
-
10 ein
Diagramm eines Zoom-Gestenverfahrens ist.
-
11A bis 11H eine
Zoomsequenz gemäß einer
Ausführungsform
der vorliegenden Erfindung veranschaulichen.
-
12 ein
Diagramm eines Mitführverfahrens
ist.
-
13A bis 13D eine
Mitführsequenz gemäß einer
Ausführungsform
der vorliegenden Erfindung veranschaulichen.
-
14 ein
Diagramm eines Drehverfahrens ist.
-
15A bis 15C eine
Drehsequenz gemäß einer
Ausführungsform
der vorliegenden Erfindung veranschaulichen.
-
16 ein
Diagramm eines Bedienverfahrens für eine graphische Nutzeroberfläche ist.
-
17A bis 17E eine
Sequenz mit hervortretendem Steuerelement gemäß einer Ausführungsform
der vorliegenden Erfindung veranschaulichen.
-
18 ein
Diagramm eines Bedienverfahrens für eine graphische Nutzeroberfläche ist.
-
19A bis 19D eine
Sequenz mit einem zoomenden Ziel veranschaulichen.
-
20 ein
Diagramm eines Bedienverfahrens für eine graphische Nutzeroberfläche ist.
-
21A bis 21D eine
Sequenz mit Seitenblättern
gemäß einer
Ausführungsform
der vorliegenden Erfindung veranschaulichen.
-
22 ein
Diagramm eines Bedienverfahrens für eine graphische Nutzeroberfläche ist.
-
23A bis 23D eine
Trägheitssequenz
gemäß einer
Ausführungsform
der vorliegenden Erfindung veranschaulichen.
-
24 ein
Diagramm eines Bedienverfahrens für eine graphische Nutzeroberfläche ist.
-
25A bis 25D eine
Tastatursequenz veranschaulichen.
-
26 ein
Diagramm eines Bedienverfahrens für eine graphische Nutzeroberfläche ist.
-
27A bis 27D eine
Sequenz mit einem Rad für
einen Bildlauf gemäß einer
Ausführungsform
der vorliegenden Erfindung veranschaulichen.
-
AUSFÜHRLICHE BESCHREIBUNG DER ERFINDUNG
-
Die
Erfindung betrifft allgemein Gesten und Verfahren zur Umsetzung
von Gesten bei berührungsempfindlichen
Einrichtungen. Beispiele von berührungsempfindlichen
Einrichtungen umfassen Berührungsbildschirme
und Berührungsfelder
(Touchscreens und Touchpads). Ein Aspekt der Erfindung bezieht sich
auf die Erkennung von wenigstens zwei gleichzeitig stattfindenden
Gesten. Ein anderer Aspekt der Erfindung bezieht sich auf die Anzeige
eines graphischen Bildes und das Verbinden verschiedener Berührungen,
die auf dem graphischen Bild erfolgen. Ein anderer Aspekt der Erfindung
bezieht sich auf die sofortige Erkennung von Gesten, sodass den Gesten
zugeordnete Aktionen zur gleichen Zeit umgesetzt werden können. Ein
anderer Aspekt der Erfindung bezieht sich auf das Ändern eines
angezeigten Bilds auf der Grundlage und im Einklang mit einer gestenhaften
Eingabe, d. h. dass das angezeigte Bild sich mit Änderungen
bei der gestenhaften Eingabe fortwährend ändert, sodass das angezeigte
Bild ständig
der gestenhaften Eingabe folgt. Ein anderer Aspekt der Erfindung
bezieht sich auf die Umsetzung eines Eingabemodus auf der Grundlage
der Anzahl von Fingern (oder eines anderen Objekts) im Kontakt mit
der Eingabeeinrichtung. Ein anderer Aspekt der Erfindung bezieht
sich auf die Bereitstellung einer örtlichen Sensibilität, wo Gesten
verschiedene Dinge bedeuten, wenn sie über unterschiedlichen Flächen der
Ein gabeeinrichtung umgesetzt werden. Ein anderer Aspekt der Erfindung
bezieht sich auf die Änderung
einer Eingabe, bei fortwährendem
Kontakt mit der berührungsempfindlichen
Oberfläche
der berührungsempfindlichen
Einrichtung.
-
Diese
und andere Aspekte der Erfindung werden weiter unten mit Bezug auf
die 1 bis 27 beschrieben.
Jedoch wird der Fachmann leicht feststellen, dass die hier angegebenen
ausführliche
Beschreibung mit Bezug auf diese Figuren zur Erläuterung dient, da die Erfindung
sich über
diese beschränkten
Ausführungsformen
hinaus erstreckt.
-
1 ist
ein Blockdiagramm eines beispielhaften Computersystems 50,
gemäß einer
Ausführungsform
der vorliegenden Erfindung. Das Computersystem 50 kann
einem Personalcomputersystem entsprechen, wie z. B. Tischrechnern
(Desktops), Laptops, Tablett-PCs oder einem in der Hand haltbaren
Rechner (handheld Computer). Das Computersystem kann auch einer
Recheneinrichtung, wie z. B. einem Mobiltelefon, einem persönlichen
digitalen Assistenten (PDA), einem zum Abspielen von Medien eigens
vorgesehenen Gerät,
einem Elektronikgerät für Verbraucher,
und ähnlichem
entsprechen.
-
Das
beispielhafte Computersystem 50, das in 1 gezeigt
ist, umfasst einen Prozessor 56, der zum Ausführen von
Befehlen und zum Durchführen von
Vorgängen
konfiguriert ist, die mit dem Computersystem 50 zusammenhängen. Zum
Beispiel kann der Prozessor 56 unter Verwendung von Befehlen, die
er z. B. aus einem Speicher entnommen hat, den Empfang und die Behandlung
von Eingabe- und
Ausgabedaten zwischen den Komponenten des Computersystems 50 steuern.
Der Prozessor 56 kann auf einem einzigen Chip, mehreren
Chips oder mehreren elektrischen Komponenten umgesetzt sein. Zum
Beispiel können
diverse Architekturen für
den Prozessor 56 eingesetzt werden, umfassend einen vorgesehenen
oder einen eingebetteten Prozessor, einen Prozessor mit einer einzigen
Aufgabe, einen Kontroller, eine anwendungsspezifische integrierte
Schaltung (ASIC, Application Specific Integrated Circuit), usw.
-
In
den meisten Fällen
arbeitet der Prozessor 56 zusammen mit einem Betriebssystem,
um Computercode auszuführen
und Daten zu erzeugen und zu nutzen. Betriebssysteme sind allgemein
wohl bekannt und werden nicht weiter im Detail beschrieben. Beispielhaft
kann das Betriebssystem OS/2, DOS, Unix, Linux, Palm OS und ähnlichem
entsprechen. Das Betriebssystem kann auch ein für einen besonderen Zweck vorgesehenes
Betriebssystem sein, wie es für
geräteartige
Recheneinrichtungen mit beschränkter
Aufgabe eingesetzt werden kann. Das Betriebssystem, anderer Computercode
und Daten können
sich innerhalb eines Speicherblocks 58 befinden, der operativ
mit dem Prozessor 56 gekoppelt ist. Der Speicherblock 58 bietet
allgemein einen Platz zum Speichern von Computercode und Daten,
die durch das Computersystem 50 verwendet werden. Beispielhaft
kann der Speicherblock 58 einen Nur-Lesespeicher (Read
Only Memory, ROM), ein Speicher mit wahlfreiem Zugriff (Random Access
Memory, RAM), ein Festplattenlaufwerk und/oder ähnliches umfassen. Die Informationen
können
sich auch auf einem entfernbaren Speichermedium befinden und bei
Bedarf auf das Computersystem 50 geladen oder installiert
werden. Entfernbare Speichermedien umfassen z. B. CD-ROM, PC-Card,
Speicherkarte, Diskette, Magnetband und eine Netzwerkkomponente.
-
Das
Computersystem 50 hat ebenso eine Anzeigeeinrichtung 68,
die mit dem Prozessor 56 operativ gekoppelt ist. Die Anzeigeeinrichtung 68 kann
eine Flüssigkristallanzeige
(LCD, Liquid Crystal Display) sein (z. B., mit aktiver oder passiver
Matrix und ähnlichem).
Alternativ kann die Anzeigeeinrichtung 68 ein Monitor sein,
wie z. B. eine Monochromanzeige, eine CGA-Anzeige (Color Graphics
Adapter Display), eine EGA-Anzeige (Enhanced Graphics Adapter Display),
eine VGA-Anzeige (Variable Graphics Array Display), eine Super VGA-Anzeige,
eine Kathodenstrahlröhre
und ähnliches.
Die Anzeigeeinrichtung kann auch einer Plasmaanzeige entsprechen,
oder einer Anzeige, die mit elektronischen Tinten umgesetzt ist.
-
Die
Anzeigeeinrichtung 68 ist allgemein zur Anzeige einer graphischen
Nutzeroberfläche 69 konfiguriert,
welche eine Schnittstelle zwischen dem Nutzer des Computersystems
und dem Betriebssystem oder einer darauf ablaufenden Anwendung bereitstellt,
die einfach zu benutzen ist. Allgemein gesagt stellt die graphische
Nutzeroberfläche 69 Programme,
Dateien und Betriebsoptionen mit graphischen Bildern dar. Die graphischen
Bilder können
Fenster, Felder, Dialogboxen, Menüs, Icons, Knöpfe, Zeiger, Bildlaufbalken,
usw. umfassen. Solche Bilder können in
vordefinierten Layouts angeordnet sein, oder können dynamisch erzeugt werden,
um den spezifischen Aktionen zu dienen, die durch einen Nutzer vorgenommen
werden. Während
des Betriebs kann der Nutzer verschiedene graphische Bilder auswählen und
aktivieren, um damit zugeordnete Funktionen und Aufgaben zu initiieren.
Zum Beispiel kann der Nutzer einen Knopf auswählen, der ein Fenster öffnet, schließt, minimiert
oder maximiert, oder ein Ikon, das ein bestimmtes Programm startet.
Die graphische Nutzoberfläche 69 kann
zusätzlich
oder alternativ für
den Nutzer Informationen, wie z. B. nicht-interaktiven Text und
nicht-interaktive Graphiken, auf der Anzeigeeinrichtung 68 anzeigen.
-
Das
Computersystem 50 umfasst ebenso eine Eingabeeinrichtung 70,
die mit dem Prozessor 56 operativ gekoppelt ist. Die Eingabeeinrichtung 70 ist
für den
Transfer von Daten von der Außenwelt
in das Computersystem 50 konfiguriert. Die Eingabeeinrichtung 70 kann
z. B. verwendet werden, um im Verhältnis zur graphischen Nutzeroberfläche 69 auf der
Anzeige 68 eine Verfolgung (tracking) auszuführen und
Auswahlen vorzunehmen. Die Eingabeeinrichtung 70 kann ebenso
verwendet werden, um im Computersystem 50 Befehle abzugeben.
Die Eingabeeinrichtung 70 kann eine berührungsempfindliche Einrichtung
umfassen, die dazu konfiguriert ist, über die Berührung eines Nutzers eine Eingabe
zu empfangen und diese Informationen an den Prozessor 56 zu
senden. Beispielhaft kann die berührungsempfindliche Einrichtung
einem Berührungsfeld
(touchpad) oder einem Berührungsbildschirm
(touchscreen) entsprechen. In vielen Fällen erkennt die berührungsempfindliche
Einrichtung Berührungen,
sowie die Position und Stärke
der Berührungen
auf einer berührungsempfindlichen
Oberfläche.
Das die Berührung fühlende Mittel
berichtet die Berührungen an
den Prozessor 56, und der Prozessor 56 interpretiert
die Berührungen
gemäß seiner
Programmierung. Zum Beispiel kann der Prozessor 56 gemäß einer
besonderen Berührung
eine Aufgabe starten. Ein eigens vorgesehener Prozessor kann verwendet werden,
um Berührungen
lokal zu verarbeiten und die Nachfrage nach dem Hauptprozessor des
Computersystems zu verringern. Die berührungsempfindliche Einrichtung
kann auf Sensortechnologien beruhen, die folgendes umfassen, aber
nicht darauf beschränkt
sind: Kapazitivsensoren, Widerstandsensoren, Oberflächenschallwellensensoren,
Drucksensoren, optische Sensoren und/oder ähnliches. Weiterhin kann das
die Berührung
fühlende
Mittel auf Einpunktfühlen
oder Mehrpunktfühlen
basieren. Einpunktfühlen
ist in der Lage, nur eine einzige Berührung zu unterscheiden, während Mehrpunktfühlen in der
Lage ist, mehrere Berührungen
zu unterscheiden, die gleichzeitig erfolgen.
-
Die
Eingabeeinrichtung 70 kann ein Berührungsbildschirm sein, der über oder
vor einer Anzeige 68 positioniert ist. Der Berührungsbildschirm 70 kann in
die Anzeigeeinrichtung 68 integriert sein, oder es kann
sich um eine getrennte Komponente handeln. Der Berührungsbildschirm 70 besitzt
mehrere Vorteile gegenüber
anderen Eingabetechnologien, wie z. B. Berührungsfelder, Mäuse, usw.
Zum einen ist der Berührungsbildschirm 70 vor
der Anzeige 68 positioniert, und folglich kann der Nutzer
die graphische Nutzeroberfläche 69 direkt
manipulieren. Zum Beispiel kann der Nutzer einfach seinen Finger über einem
Objekt platzieren, das gesteuert werden soll. Bei Berührungsfeldern
gibt es eine solche Eins-zu-Eins-Beziehung
nicht. Bei Berührungsfeldern
ist das Berührungsfeld
entfernt von der Anzeige angeordnet, typischerweise in einer anderen
Ebene. Zum Beispiel befindet sich die Anzeige typischerweise in
einer senkrechten Ebene, und das Berührungsfeld befindet sich typischerweise
in einer waagerechten Ebene. Dies macht dessen Benutzung weniger intuitiv
und folglich schwieriger im Vergleich zu Berührungsbildschirmen. Zusätzlich zu
seiner Eigenschaft als Berührungsbildschirm
kann die Eingabeeinrichtung 70 eine Mehrpunkteingabeeinrichtung sein.
Mehrpunkteingabeeinrichtungen haben Vorteile über herkömmliche Einpunkteinrich tungen
dahingehend, dass sie mehr als ein Objekt (Finger) unterscheiden
können.
Einpunkteinrichtungen sind einfach unfähig, mehrere Objekte zu unterscheiden. Beispielhaft
ist ein Mehrpunktberührungsbildschirm, der
hier eingesetzt werden kann, in der parallel anhängigen und gemeinsam übertragenen
US-Patentanmeldung
Nr. 10/840,862, die hiermit durch Verweis in die Offenbarung mit
aufgenommen wird, detaillierter gezeigt und beschrieben.
-
Das
Computersystem 50 umfasst ebenso Fähigkeiten zur Kopplung mit
einer oder mehreren Eingabe-/Ausgabeeinrichtungen 80. Beispielhaft können die
Eingabe-/Ausgabeeinrichtungen 80 Tastaturen,
Druckern, Scannern, Kameras, Lautsprechern und/oder ähnlichem
entsprechen. Die Eingabe-/Ausgabeeinrichtungen 80 können in
das Computersystem 50 integriert sein, oder es kann sich
um getrennte Komponenten handeln (z. B. Peripheriegeräte). In
manchen Fällen
können
die Eingabe-/Ausgabeeinrichtungen 80 über Kabelverbindungen (z. B. Kabel/Anschlüsse) mit
dem Computersystem 50 verbunden sein. In anderen Fällen können die
Eingabe-/Ausgabeeinrichtungen 80 über drahtlose Verbindungen
mit dem Computersystem 80 verbunden sein. Zum Beispiel
kann die Datenverbindung PS/2, USB, IR, RF, Bluetooth oder ähnlichem
entsprechen.
-
Gemäß einer
Ausführungsform
der vorliegenden Erfindung ist das Computersystem 50 für die Erkennung
von auf die Eingabeeinrichtung 70 angewandten Gesten 85 und
für die
Steuerung von Aspekten des Computersystems 50 auf der Grundlage der
Gesten 85 ausgestaltet. In manchen Fällen ist eine Geste als eine
stilisierte Interaktion mit einer Eingabeeinrichtung definiert,
die auf einen oder mehrere spezifische Rechenvorgänge abgebildet
wird. Die Gesten 85 können über diverse
Hand- und insbesondere Fingerbewegungen ausgeführt werden. Alternativ oder
zusätzlich
können
die Gesten mit einem Stift ausgeführt werden. In all diesen Fällen empfängt die
Eingabeeinrichtung 70 die Gesten 85, und der Prozessor 56 führt Befehle
aus, um Vorgänge
durchzuführen,
die den Gesten 85 zugeordnet sind. Zusätzlich kann der Speicherblock 58 ein
Gestenbetriebsprogramm 88 umfassen, das ein Teil des Betriebssystems
oder eine getrennte Anwendung sein kann. Das Gestenbetriebsprogramm 88 umfasst
allgemein einen Satz an Befehlen, der das Auftreten von Gesten 85 erkennt,
und einen oder mehrere Softwareagenten über die Gesten 85 informiert
und/oder darüber
informiert, welche Handlung(en) in Antwort auf die Gesten 85 vorgenommen
wird (werden).
-
Wenn
ein Nutzer eine oder mehreren Gesten durchführt, leitet die Eingabeeinrichtung 70 Informationen über die
Gesten an den Prozessor 56 weiter. Unter Verwendung von
Befehlen aus dem Speicher 58, und insbesondere des Gestenbetriebsprogramms 88,
interpretiert der Prozessor 56 die Gesten 85 und
steuert verschiedene Komponenten des Computersystems 50,
wie z. B. den Speicher 58, eine Anzeige 68 und
Eingabe-/Ausgabeeinrichtungen 80, auf der Grundlage der
Gesten 85. Die Gesten 85 können als Befehle zur Durchführung von
Aktionen bei im Speicher 58 gespeicherten Anwendungen,
zur Veränderung
auf von der Anzeige 68 gezeigten Objekten der graphischen
Nutzeroberfläche,
zur Veränderung
von in dem Speicher 58 gespeicherten Daten, und/oder zur
Durchführung
von Aktionen bei den Eingabe-/Ausgabeeinrichtungen 80 identifiziert
werden. Beispielhaft können
die Befehle einem Zoomen, Mitführen,
Bildlauf, Blättern,
Drehen, Größe einstellen und ähnlichem
zugeordnet sein. Als weitere Beispiele können die Befehle auch dem Folgenden
zugeordnet sein: dem Starten eines bestimmten Programms, dem Öffnen einer
Datei oder eines Dokuments, dem Betrachten eines Menüs, dem Durchführen einer Auswahl,
dem Ausführen
von Anweisungen, dem Einloggen in das Computersystem, dem Erlauben des
Zugangs zu gesperrten Bereichen des Computersystems für autorisierte
Einzelpersonen, dem Laden eines Nutzerprofils, das der vom Nutzer
bevorzugten Anordnung der Arbeitsfläche (Desktop) des Rechners
zugeordnet ist, und/oder ähnlichem.
-
Es
kann eine große
Spanne an verschiedenen Gesten verwendet werden. Beispielhaft kann
es sich bei den Gesten um Einzelpunkt- oder Mehrpunktgesten; statische
oder dynamische Gesten; kontinuierliche oder segmentierte Gesten;
und/oder um ähnliches
handeln. Einzelpunktgesten sind solche Gesten, die mit einem einzigen
Kontaktpunkt ausgeführt
werden, z. B., wird die Geste mit einer einzigen Be rührung wie
z. B. von einem einzigen Finger, einer Handfläche oder einem Stift ausgeführt. Mehrpunktgesten
sind solche Gesten, die mit mehreren Punkten ausgeführt werden
können,
z. B., wird die Geste mit mehreren Berührungen wie z. B. von mehreren
Fingern, Fingern und Handflächen,
einem Finger und einem Stift, mehreren Stiften und/oder jeglicher
Kombination davon ausgeführt.
Statische Gesten sind solche Gesten, die keine Bewegung umfassen,
und dynamische Gesten sind solche Gesten, bei denen eine Bewegung
vorkommt. Kontinuierliche Gesten sind solche Gesten, die in einem
einzigen Streich ausgeführt
werden, und segmentierte Gesten sind solche Gesten, die in einer
Sequenz von verschiedenen Schritten oder Strichen ausgeführt werden.
-
Bei
einer Ausführungsform
ist das Computersystem 50 zur gleichzeitigen Registrierung
mehrerer Gesten konfiguriert, d. h., dass mehrere Gesten gleichzeitig
ausgeführt
werden können.
Beispielhaft kann eine Zoomgeste zur gleichen Zeit wie eine Drehgeste
ausgeführt
werden, oder eine Drehgeste kann zur gleichen Zeit wie eine Mitführgeste
ausgeführt
werden. Bei einer besonderen Umsetzung können Zoom-, Dreh- und Mitführgesten
alle gleichzeitig erfolgen, um zur gleichen Zeit ein Zoomen, Drehen und
Mitführen
auszuführen.
-
Bei
einer anderen Ausführungsform
ist das System zur sofortigen Erkennung der Gesten konfiguriert,
sodass den Gesten zugeordnete Aktionen zur gleichen Zeit wie die
Geste umgesetzt werden können,
d. h., dass die Geste und die Aktion gleichzeitig nebeneinander
erfolgen, anstatt dass es sich um einen Vorgang mit zwei Schritten
handelt. Beispielhaft bewegt sich bei einer Bildlaufgeste der Bildschirm
mit der Fingerbewegung.
-
Bei
einer anderen Ausführungsform
folgt ein auf der Anzeige 68 präsentiertes Objekt kontinuierlich
der auf einem Berührungsbildschirm
stattfindenden Geste. Es besteht eine 1-zu-1-Beziehung zwischen
der gerade durchgeführten
Geste und den auf der Anzeige 68 gezeigten Objekten. Zum
Beispiel erfolgen mit Durchführung
der Geste gleichzeitig Veränderungen
an den Objekten, die unterhalb der Geste liegen. Zum Beispiel können während einer
Zoomgeste sich die Finger auseinanderspreizen oder schließen, um
während
des Spreizens ein Heranzoomen des auf der Anzeige 68 gezeigten
Objekts zu verursachen, und während
des Schließens
ein Herauszoomen. Während
dieses Vorgangs erkennt das Computersystem 50 die Nutzereingabe
als eine Zoomgeste, bestimmt, welche Handlung erfolgen sollte, und
gibt Steuerdaten an die richtige Einrichtung aus, in diesem Fall
die Anzeige 68.
-
Bei
einer anderen Ausführungsform
verfügt das
Computersystem 50 über
eine örtliche
Sensibilität,
wobei Gesten unterschiedliche Dinge bedeuten, wenn sie über unterschiedlichen
Flächen
der Eingabeeinrichtung 68 umgesetzt werden. Zum Beispiel verursacht
eine Drehgeste über
einem Lautstärkerknopf
eine Erhöhung/Senkung
der Lautstärke,
wohingegen eine Drehgeste über
einem Foto eine Drehung des Fotos verursacht.
-
Bei
einer anderen Ausführungsform
kann die Anzahl an Fingern, die sich in Kontakt mit dem Berührungsbildschirm
befinden, einen Eingabemodus angeben. Zum Beispiel kann eine einzelne
Berührung
wie z. B. durch einen einzelnen Finger den Wunsch angeben, eine
Verfolgung (Tracking) durchzuführen,
d. h., Zeiger- oder Kursorbewegungen, oder Auswahlen, wohingegen
mehrere Berührungen wie
z. B. durch eine Fingergruppe den Wunsch anzeigen können, zu
Gestikulieren. Die Anzahl Finger zur Umsetzung der Gestik kann stark
variieren. Beispielhaft können
zwei Finger einen ersten Gestikmodus angeben, können drei Finger einen dritten
Gestikmodus angeben, usw. Alternativ kann irgendeine Anzahl von
Fingern, d. h. mehr als einer, für
denselben Gestikmodus verwendet werden, der ein oder mehrere Gestensteuerelemente
umfassen kann. Die Ausrichtung der Finger kann in ähnlicher
Weise eingesetzt werden, um den gewünschten Modus zu bezeichnen. Das
Profil des Fingers kann erfasst werden, um verschiedene Modusvorgänge basierend
darauf zu erlauben, ob der Nutzer z. B. seinen Daumen oder Zeigefinger
verwendet hat.
-
Bei
einer anderen Ausführungsform
kann eine Eingabe während
der Durchführung
eines durchgezogenen Strichs auf der Eingabeeinrichtung verändert werden,
ohne den Strich zu unterbrechen (z. B. ein Abheben von der berührungsempfindlichen Oberfläche). Bei
einer Umsetzung kann ein Nutzer von einem Verfolgungs-(oder Auswahl-)Modus
zu einem Gestikmodus umschalten, während ein Strich durchgeführt wird.
Zum Beispiel kann das Verfolgen oder Auswählen einem einzelnen Finger
zugeordnet sein, und kann das Gestikulieren mehreren Fingern zugeordnet
sein; folglich kann der Nutzer zwischen Verfolgung/Auswahl und Gestikulieren
hin- und herschalten, indem er einen zweiten Finger von dem Berührungsbildschirm
abhebt und auf diesem absetzt. Bei einer anderen Umsetzung kann
der Nutzer von einem Gestikmodus zu einem anderen Gestikmodus umschalten,
während
ein Strich ausgeführt
wird. Zum Beispiel kann ein Zoomen dem Spreizen eines Fingerpaars
zugeordnet sein, und kann ein Drehen dem Drehen des Fingerpaars
zugeordnet sein; folglich kann der Nutzer zwischen Zoomen und Drehen
hin- und herschalten, indem er bei der Bewegung seiner Finger zwischen
Spreizen und Drehen wechselt. Bei noch einer anderen Umsetzung kann
die Anzahl an Gesteneingaben verändert
werden, während
ein Strich ausgeführt
wird (z. B. hinzugefügt
oder abgezogen werden). Zum Beispiel kann der Nutzer während eines
Zoomens, wo die Finger auseinander gespreizt werden, weiterhin seine
Finger drehen, um sowohl ein Zoomen als auch ein Drehen auszulösen. Weiterhin
kann der Nutzer während
des Zoomens und Drehens das Spreizen der Finger abbrechen, sodass
nur eine Drehung stattfindet. Mit anderen Worten können die
Gesteneingaben kontinuierlich eingegeben werden, entweder gleichzeitig
oder nacheinander.
-
Bei
einer besonderen Ausführungsform
löst ein
einzelner Finger ein Verfolgen (Tracking) (oder eine Auswahl) aus,
und lösen
zwei oder mehr Finger in unmittelbarer Nähe zueinander einen Bildlauf
oder Mitführen
aus. Zwei Finger werden im Allgemeinen bevorzugt, um ein einfaches
Hin- und Herschalten zwischen einem und zwei Fingern bereitzustellen,
d. h., dass der Nutzer zwischen den Modi sehr leicht umschalten
kann, indem er einfach einen zusätzlichen
Finger anhebt oder absetzt. Dies hat den Vorteil, dass es intuitiver
ist, als andere Formen der Modus Hin- und Herschaltung. Während des
Verfolgens (Tracking) wird die Bewegung des Zeigers dadurch gesteuert,
dass der Nutzer einen einzelnen Finger auf der berührungsempfindlichen
Oberfläche
einer berührungsempfindlichen
Einrichtung bewegt. Die Sensoranordnung der berührungsempfindlichen Einrichtung
interpretiert die Fingerbewegung und erzeugt Signale zur Erzeugung
einer entsprechenden Bewegung des Zeigers auf der Anzeige. Während eines
Bildlaufs wird die Bewegung des Bildschirms dadurch gesteuert, dass
der Nutzer zwei Finger auf der berührungsempfindlichen Oberfläche der
berührungsempfindlichen
Einrichtung bewegt. Wenn die kombinierten Finger in die senkrechte
Richtung bewegt werden, wird die Bewegung als ein senkrechtes Bildlaufereignis
interpretiert, und wenn die kombinierten Finger in die waagerechte
Richtung bewegt werden, wird die Bewegung als ein waagerechtes Bildlaufereignis
interpretiert. Das Gleiche gilt für das Mitführen, obwohl ein Mitführen in
alle Richtungen erfolgen kann, anstatt nur der waagerechten und
senkrechten Richtungen.
-
Der
Begriff "Bildlauf" ("scrolling"), so wie er hier
verwendet wird, betrifft allgemein das Bewegen von angezeigten Daten
oder Bildern (z. B. Text oder Graphiken) durch einen Sichtbereich
auf einem Anzeigebildschirm, sodass ein neuer Datensatz (z. B. eine
Textzeile oder Graphiken) im Sichtbereich in Sicht kommt. Sobald
der Sichtbereich voll ist, erscheint in den meisten Fällen jeder
neue Datensatz am Rand des Sichtbereichs, und alle anderen Datensätze bewegen
sich eine Position weiter. Das heißt, dass der neue Datensatz
für jeden
Datensatz erscheint, der sich aus dem Sichtbereich herausbewegt.
Im Wesentlichen erlaubt es die Bildlauffunktion einem Nutzer, aufeinanderfolgende
Datensätze
zu betrachten, die derzeit außerhalb
des Sichtbereichs liegen. Der Sichtbereich kann der gesamte Sichtbereich
des Anzeigebildschirms sein, oder es kann sich nur um einen Abschnitt
des Anzeigebildschirms handeln (z. B. ein Fensterrahmen).
-
Wie
oben erwähnt,
kann der Bildlauf senkrecht (hoch oder runter) oder waagerecht (links
oder rechts) umgesetzt sein. Im Falle des senkrechten Bildlaufs,
wenn ein Nutzer das Bild nach unten durchläuft, erscheint jeder neue Datensatz
am unteren Ende des Sichtbereichs, und alle anderen Datensätze bewegen
sich eine Position aufwärts.
Wenn der Sichtbereich voll ist, bewegt sich der oberste Datensatz
aus dem Sichtbereich heraus. Wenn ein Nutzer nach oben hin durchläuft, erscheint
in ähnlicher
Weise jeder neue Datensatz am oberen Ende des Sichtbereichs, und
alle anderen Datensätze
bewegen sich um eine Position nach unten. Wenn der Sichtbereich voll
ist, bewegt sich der unterste Datensatz aus dem Sichtbereich heraus.
-
Beispielhaft
kann der Anzeigebildschirm während
des Betriebs eine Liste von Medienobjekten (z. B. Songs) anzeigen.
Ein Nutzer ist in der Lage, die Liste an Medienobjekten linear zu
durchlaufen, indem er seinen Finger über den Berührungsbildschirm bewegt. Während der
Finger sich über
den Berührungsbildschirm
bewegt, werden die angezeigten Objekte von der Liste an Medienobjekten
variiert, sodass der Nutzer in der Lage ist, im Ergebnis die Liste an
Medienobjekten zu durchlaufen. In den meisten Fällen ist der Nutzer in der
Lage, seine Durchquerung der Liste an Medienobjekten zu beschleunigen,
indem er seinen Finger mit höheren
Geschwindigkeiten bewegt. Einige Ausfürungsformen, die in Bezug zu
dem obigen Beispiel stehen können,
sind weiter unten detaillierter beschrieben. Siehe z. B. 6, 23 und 27.
-
2 ist
ein Mehrpunktverarbeitungsverfahren 100. Das Mehrpunktverarbeitungsverfahren 100 kann
z. B. in dem in der 1 gezeigten System durchgeführt werden.
Das Mehrpunktverarbeitungsverfahren 100 beginnt allgemein
beim Kasten 102, wo Bilder von einer Mehrpunkteingabeeinrichtung, und
insbesondere einem Mehrpunktberührungsbildschirm,
ausgelesen werden. Beispielhaft kann der Mehrpunktberührungsbildschirm
allgemein dem Mehrpunktberührungsbildschirm
entsprechen, der in der parallel anhängigen US-Patentanmeldung Nr. 10/840,862
offenbart ist, die hiermit durch Bezugnahme in die Offenbarung aufgenommen
wird. Obwohl der Begriff "Bild" verwendet wird,
ist anzumerken, dass die Daten in anderen Formen auftreten können. In
den meisten Fällen
liefert das aus dem Berührungsbildschirm
ausgelesene Bild die Größe (Z) in Abhängigkeit
der Position (x und y) für
jeden Sensorpunkt oder Pixel des Berührungsbildschirms. Die Größe kann
z. B. die an jedem Punkt gemessene Kapazität widerspiegeln.
-
Im
Anschluss an den Kasten 102 fährt das Mehrpunktverarbeitungsverfahren 100 mit
dem Kasten 104 fort, wo das Bild in eine Sammlung oder
Liste von Merkmalen umgewandelt wird. Jedes Merkmal repräsentiert
eine getrennte Eingabe wie z. B. eine Berührung. In den meisten Fällen hat
jedes Merkmal seine eigene eindeutige Kennung (ID), x-Koordinate, y-Koordinate,
Größe Z, Winkel θ, Fläche A, und ähnliches.
Beispielhaft veranschaulichen die 3A und 3B ein
Bild 120 zu einem bestimmten Zeitpunkt. Beim Bild 120 gibt
es zwei Merkmale 122, die auf zwei getrennten Berührungen
basieren. Die Berührungen
können
z. B. von einem Fingerpaar stammen, das den Berührungsbildschirm berührt. Wie
es gezeigt ist, umfasst jedes Merkmal 122 eine eindeutige Kennung
(ID), eine x Koordinate, y Koordinate, Größe Z, einen Winkel θ und eine
Fläche
A. Genauer gesagt wird das erste Merkmal 122A durch ID1, x1, y1, Z1, θ1, A1 repräsentiert,
und wird das zweite Merkmal 122B durch ID2,
x2, y2, Z2, θ2, A2 repräsentiert.
Diese Daten können
z. B. unter Verwendung eines Mehrberührungsprotokolls ausgegeben
werden.
-
Die
Umwandlung von Daten oder Bildern zu Merkmalen kann unter Verwendung
von Verfahren erreicht werden, die in der parallel anhängigen U.S. Patentanmeldung
Nr.: 10/840,862 beschrieben sind, die hiermit durch Bezugname in
die Offenbarung aufgenommen wird. Wie es darin offenbart ist, werden die
Rohdaten empfangen. Die Rohdaten liegen typischer Weise in einer
digitalisierten Form vor und umfassen Werte für jeden Knotenpunkt des Berührungsbildschirms.
Die Werte können
zwischen 0 und 256 liegen, wobei 0 keinem Berührungsdruck entspricht, und
256 dem vollen Berührungsdruck
entspricht. Anschließend
werden die Rohdaten gefiltert, um das Rauschen zu verringern. Sobald
gefiltert wurde, werden Gradientdaten, welche die Topologie jeder
Gruppe verbundener Punkte angeben, erzeugt. Anschließend werden
die Grenzen für
Berührungsbereiche auf der
Basis der Gradientdaten berechnet, das heißt, es wird festgestellt, welche
Punkte gruppiert werden, um jeden Berührungsbereich zu bilden. Beispielhaft
kann ein Wasserscheiden-Algorithmus eingesetzt werden. Sobald die
Grenzen bestimmt sind, werden die Daten für jeden der Berührungsbereiche berechnet
(z. B. x, y, Z, θ,
A).
-
Im
Anschluss an den Kasten 104 fährt das Mehrpunktverarbeitungsverfahren 100 mit
Kasten 106 fort, wo eine Klassifizierung und Gruppierung
der Merkmale erfolgt. Während
der Klassifizierung wird die Identität jedes Merkmals bestimmt.
Z. B. können die
Merkmale als ein bestimmter Finger, ein Daumen, eine Handfläche oder
ein anderes Objekt klassifiziert werden. Sobald sie klassifiziert
sind, können
die Merkmale gruppiert werden. Die Art und Weise, in welcher die
Gruppen gebildet werden, kann stark variieren. In den meisten Fallen
werden die Merkmale auf der Grundlage einiger Kriterien gruppiert
(z. B., dass sie ein ähnliches
Attribut haben). Z. B. können die
in den 3A und 3B gezeigten
zwei Merkmale gruppiert werden, da jedes dieser Merkmale sich in
der Nähe
zum anderen befindet, oder da sie von derselben Hand stammen. Das
Gruppieren kann einen bestimmten Grad an Filterung umfassen, um Merkmale
auszufiltern, die nicht Teil des Berührungsereignisses sind. Beim
Filtern kann ein Merkmal oder können
mehrere Merkmale verworfen werden, weil sie entweder gewisse vorbestimmte
Kriterien erfüllen,
oder weil sie gewisse Kriterien nicht erfüllen. Beispielhaft kann eines
der Merkmale als ein Daumen klassifiziert werden, der sich am Rande
eines Tablett-PC's
befindet. Da der Daumen verwendet wird, um das Gerät zu halten,
anstatt verwendet zu werden, um eine Aufgabe durchzuführen, wird
das dadurch erzeugte Merkmal verworfen, das heißt, es wird nicht als Teil
des in Verarbeitung befindlichen Berührungsereignisses betrachtet.
-
Im
Anschluss an den Kasten 106 fährt das Mehrpunktverarbeitungsverfahren 100 mit
Kasten 108 fort, wo Schlüsselparameter für die Merkmalsgruppen
berechnet werden. Die Schlüsselparameter können den
Abstand zwischen Merkmalen, den x/y Schwerpunkt aller Merkmale,
die Merkmaldrehung, den Gesamtdruck der Gruppe (z. B. Druck beim Schwerpunkt)
und ähnliches
umfassen. Wie es in 4 gezeigt ist, kann die Berechnung
folgendes umfassen: Auffinden des Schwerpunkts C, Zeichnen einer
virtuellen Linie 130 vom Schwerpunkt C zu jedem Merkmal,
Definieren des Abstands D für
jede virtuelle Linie (D1 und D2), und dann Bildung des Durchschnitts
aus den Abständen
D1 und D2. Sobald die Parameter berechnet sind, werden die Parameterwerte
berichtet. Die Parameterwerte werden typischer Weise mit einer Gruppenkennung
(group identifier, GID) und der Anzahl an Merkmalen innerhalb jeder
Gruppe (in diesem Fall drei) berichtet. In den meisten Fällen werden
sowohl anfängliche
als auch gegenwärtige
Parameterwerte berichtet. Die anfänglichen Parameterwerte können auf
dem Aufsetzen basieren, das heißt,
wenn der Nutzer seine Finger auf dem Berührungsbildschirm aufsetzt,
und die gegenwärtigen
Werte können
auf jeglichem Punkt innerhalb eines Strichs basieren, der nach dem
Aufsetzen auftritt. Es versteht sich, dass die Kasten 102 bis 108 während des
Strichs eines Nutzers wiederholt ausgeführt werden, wodurch eine Mehrzahl
sequenziell konfigurierter Signale erzeugt wird. Die anfänglichen
und gegenwärtigen
Parameter können
in späteren
Schritten verglichen werden, um im System Aktionen durchzuführen.
-
Im
Anschluss an den Kasten 108 fährt der Verfahrensablauf mit
dem Kasten 110 fort, wo die Gruppe einem Element einer
Nutzeroberfläche
zugeordnet wird. Nutzeroberflächenelemente
sind Felder mit Schaltflächen,
Listen, Schieber, Räder,
Knöpfe, usw..
Jedes Nutzeroberflächenelement
repräsentiert eine
Komponente oder ein Steuerelement der Nutzeroberfläche. Die
Anwendung hinter dem (den) Nutzeroberflächenelement(en) hat Zugang
zu den im Kasten 108 berechneten Parameterdaten. Bei einer Umsetzung
bewertet die Anwendung die Relevanz der Berührungsdaten für das entsprechende
Nutzeroberflächenelement.
Die Bewertung kann auf gewissen vorbestimmten Kriterien basieren.
Die Bewertung kann das Erzeugen einer Bewertungszahl umfassen, sowie
desjenigen Nutzeroberflächenelements,
das die höchste
Bewertungszahl hat, was ihm den alleinigen Zugang zur Gruppe verschafft.
Es kann sogar auch einen gewissen Grad an Hysterese geben (sobald
eines der Nutzeroberflächenelemente die
Kontrolle dieser Grup pe beansprucht, bleibt die Gruppe bei dem Nutzeroberflächenelement,
bis ein anderes Nutzeroberflächenelement
eine viel höhere Wertung
hat). Beispielhaft kann die Bewertung die Bestimmung der Nähe des Schwerpunkts
(oder von Merkmalen) zum Objekt der graphischen Nutzeroberfläche umfassen,
das dem Nutzeroberflächenelement
zugeordnet ist.
-
Im
Anschluss an den Kasten 110 fährt das Mehrpunktverarbeitungsverfahren 100 mit
den Kästen 112 und 114 fort.
Die Kästen 112 und 114 können ungefähr zur gleichen
Zeit ausgeführt
werden. Aus der Sicht des Nutzers scheint es bei einer Ausführungsform
so, als ob die Kästen 112 und 114 gleichzeitig
ausgeführt
werden. Beim Kasten 112 werden eine oder mehrere Aktionen
durchgeführt,
auf der Grundlage von Unterschieden zwischen anfänglichen und gegenwärtigen Parameterwerten
sowie des Nutzeroberflächenelements,
welchem sie zugeordnet sind. Beim Kasten 114 wird dem Nutzer
eine Rückmeldung
bezüglich
der einen oder der mehreren Handlungen bereitgestellt, die gerade
durchgeführt werden.
Beispielhaft kann die Rückmeldung
an den Nutzer eine Anzeige-, Audio-, Taktil-Rückmeldung und/oder ähnliches
umfassen.
-
5 ist
ein Parameterberechnungsverfahren 150. Das Parameterberechnungsverfahren 150 kann
zum Beispiel dem Kasten 108 entsprechen, der in der 2 gezeigt
ist. Das Parameterberechnungsverfahren 150 beginnt allgemein
beim Kasten 152, wo eine Merkmalsgruppe empfangen wird.
Im Anschluss an den Kasten 152 fährt das Parameterberechnungsverfahren 150 zum
Kasten 154 fort, wo festgestellt wird, ob die Anzahl an
Merkmalen in der Merkmalsgruppe sich verändert hat oder nicht. Zum Beispiel
kann sich die Anzahl an Merkmalen verändert haben, weil der Nutzer
einen zusätzlichen
Finger anhebt oder ablegt. Verschiedene Finger können benötigt werden, um unterschiedliche
Steuerungen (z. B. verfolgen, gestikulieren) durchzuführen. Falls
die Anzahl an Merkmalen sich verändert
hat, fährt
das Parameterberechnungsverfahren 150 mit dem Kasten 156 fort,
wo die anfänglichen
Parameterwerte berechnet werden. Falls die Anzahl die gleiche bleibt, fährt das
Parameterberechnungsverfahren 150 mit dem Kasten 158 fort,
wo die gegenwärtigen
Parameterwerte berechnet werden. Anschließend fährt das Parameterberechnungsverfahren 150 mit
dem Kasten 150 fort, wo die anfänglichen und gegenwärtigen Parameterwerte
berichtet werden. Beispielhaft können
die anfänglichen
Parameterwerte den durchschnittlichen anfänglichen Abstand zwischen Punkten
(oder Abstand (Mittel) anfänglich)
und die gegenwärtigen
Parameterwerte den durchschnittlichen gegenwärtigen Abstand zwischen Punkten
(oder Abstand (Mittel) gegenwärtig)
enthalten. Diese können in
nachfolgenden Schritten verglichen werden, um verschiedene Aspekte
eines Computersystems zu steuern.
-
Die
obigen Verfahren und Techniken können verwendet
werden, um jegliche Anzahl an Objekten und Aktionen einer graphischen
Nutzeroberfläche
zu implementieren. Zum Beispiel können Gesten kreiert werden,
um einen Nutzerbefehl zu erfassen und zu bewirken, der zur Größenanpassung
eines Fensters, Durchlaufen einer Anzeige, Drehen eines Objekts, Hinein-
oder Herauszoomen in bzw. aus eine angezeigte Ansicht, Löschen oder
Einfügen
von Text oder anderen Objekten, usw. dient. Gesten können ebenso
verwendet werden, um virtuelle Steueroberflächen wie z. B. Lautstärkeknöpfe, Schalter,
Schieber, Griffe, Knöpfe,
Türen und
andere Interaktionselemente aufzurufen und zu manipulieren, die
erzeugt werden können,
um die menschliche Interaktion mit dem Rechensystem zu erleichtern.
-
Um
ein die obigen Methodologien verwendendes Beispiel zu nennen, mit
Bezug auf die 6A bis 6G, wird
eine Drehgestik zur Steuerung eines virtuellen Lautstärkeknopfs 170 auf
einer graphischen Nutzeroberfläche 172 einer
Anzeige 174 eines Tablett-PC's 175 beschrieben. Um den Knopf 170 zu
betätigen,
platziert der Nutzer seine Finger 176 auf einem Mehrpunktberührungsbildschirm 178.
Der virtuelle Steuerknopf kann bereits angezeigt sein, oder die
besondere Anzahl, Ausrichtung oder das Profil der Finger beim Aufsetzen,
oder die Bewegung der Finger direkt danach, oder eine Kombination
dieser und anderer Charakteristiken der Interaktion des Nutzers
können
dazu führen,
dass der virtuelle Steuerknopf angezeigt wird. In jedem Falle assoziiert
das Rechensystem eine Fingergruppe mit dem virtuellen Steuerknopf
und stellt fest, dass der Nutzer beabsichtigt, den virtuellen Lautstärkeknopf
zu verwenden. Diese Assoziation kann auch teilweise auf dem Modus
oder dem gegenwärtigen Zustand
der Recheneinrichtung zum Zeitpunkt der Eingabe basieren. Zum Beispiel
kann dieselbe Geste alternativ als eine Lautstärkeknopf-Geste interpretiert werden,
falls gerade ein Song auf der Recheneinrichtung läuft, oder
als ein Drehbefehl, falls gerade eine Anwendung zur Editierung von
Objekten ausgeführt wird.
Es kann eine andere Rückmeldung
an den Nutzer bereitgestellt werden, einschließlich z. B. eine hörbare oder
fühlbare
Rückmeldung.
-
Sobald
der Knopf 170 angezeigt wird, wie es in der 6A gezeigt
ist, können
die Finger 176 des Nutzers um den Knopf 170 herumpositioniert
werden, in ähnlicher
Weise als ob es sich um einen tatsächlichen Knopf oder Regler
handelte, und können dann
um den Knopf 170 herumgedreht werden, um das Drehen des
Knopfes 170 zu simulieren. Wiederum kann z. B. eine hörbare Rückmeldung
in der Form eines Klickgeräusches
oder eine fühlbare
Rückmeldung
in der Form einer Vibration bereitgestellt werden, während der
Knopf 170 „gedreht" wird. Der Nutzer
kann auch seine andere Rand verwenden, um den Tablett PC 175 zu
halten.
-
Wie
es in 6B gezeigt ist, erfasst der Mehrpunktberührungsbildschirm 178 wenigstens
ein Bildpaar. Insbesondere wird beim Absetzen ein erstes Bild 180 erzeugt,
und wenigstens ein anderes Bild 182 wird erzeugt, wenn
die Finger 176 gedreht werden. Auch wenn nur zwei Bilder
gezeigt sind, würde es
in den meisten Fällen
viel mehr Bilder geben, die Schritt für Schritt zwischen diesen zwei
Bildern auftreten. Jedes Bild repräsentiert ein Profil der mit
dem Berührungsbildschirm
in Kontakt befindlichen Finger zu einem bestimmten Zeitpunkt. Diese
Bilder können auch
als Berührungsbilder
bezeichnet werden. Es wird ersichtlich sein, dass der Begriff „Bild" nicht bedeutet,
dass das Profil auf dem Bildschirm 178 angezeigt wird (sondern
stattdessen durch die berührungsempfindliche
Einrichtung verbildlicht wird). Es ist auch zu bemerken, dass, obwohl der
Begriff „Bild" verwendet wird,
die Daten in anderen Formen vorliegen können, die zu diversen Zeitpunkten
für die
Berührungsfläche repräsentativ
sind.
-
Wie
es in der 6C gezeigt ist, wird jedes der
Bilder 180 bis 182 in eine Sammlung von Merkmalen 184 umgewandelt.
Jedes Merkmal 184 ist einer bestimmten Berührung zugeordnet,
wie z. B. von den Spitzen eines jeden Fingers 176, welche
den Knopf 170 umgeben, sowie dem Daumen der anderen Hand 177,
die verwendet wird, um den Tablett PC 175 zu halten.
-
Wie
es in der 6D gezeigt ist, werden die Merkmale 184 klassifiziert,
d. h., jeder Finger/Daumen wird identifiziert, und für jedes
der Bilder 180 und 182 gruppiert. In diesem konkreten
Fall werden die dem Knopf 170 zugeordneten Merkmale 184A gruppiert,
um die Gruppe 188 zu bilden, und das Merkmal 184B,
das dem Daumen zugeordnet ist, wird herausgefiltert. Bei alternativen
Gestaltungen kann das Daumenmerkmal 184B als ein getrenntes Merkmal
in Alleinstellung (oder in einer anderen Gruppe) behandelt werden,
z. B., um den Eingabe- oder Betriebsmodus des Systems zu ändern, oder eine
andere Geste zu implementieren, z. B., eine Schiebergeste, die einem
Entzerrungsschieber zugeordnet ist, der auf dem Bildschirm im Bereich
des Daumens (oder eines anderen Fingers) angezeigt wird.
-
Wie
es in 6E gezeigt ist, werden für jedes
Bild 180 und 182 die Schlüsselparameter der Merkmalsgruppe 188 berechnet.
Die dem ersten Bild 180 zugeordneten Schlüsselparametern
repräsentieren
den Anfangszustand, und die Schlüsselparameter
des zweiten Bildes 182 repräsentieren den gegenwärtigen Zustand.
-
Wie
es ebenso in der 6E gezeigt ist, ist der Knopf 170 das
der Merkmalsgruppe 188 zugeordnete Nutzeroberflächenelement,
wegen deren Nähe
zum Knopf 170. Anschließend, wie es in 6F gezeigt
ist, werden die Schlüsselparameterwerte
der Merkmalsgruppe 188 von jedem Bild 180 und 182 verglichen, um
den Rotationsvektor zu bestimmen, das heißt, dass sich die Merkmalsgruppe vom
anfänglichen
zum gegenwärtigen
Zustand um fünf
(5) Grad im Uhrzeigersinn gedreht hat. In der 6F ist
die anfängliche
Merkmalsgruppe (Bild 180) mit gestrichelten Linien gezeigt,
während
die gegenwärtige
Merkmalsgruppe (Bild 182) mit durchgezogenen Linien gezeigt
ist.
-
Wie
es in der 6G gezeigt ist, erhöht (oder
verringert) der Lautsprecher 192 des Tablett PC's 175 seine
Ausgabe auf der Grundlage des Rotationsvektors, gemäß der Drehweite
der Finger 176, d. h., eine Erhöhung der Lautstärke um 5%
auf der Grundlage einer Drehung von fünf Grad. Die Anzeige 174 des
Tablett PC's kann
ebenfalls die Drehung des Knopf 170 gemäß der Drehweite der Finger 176 anpassen,
d. h., dass die Position des Knopfs 170 sich um fünf (5) Grad
dreht. In den meisten Fällen
erfolgt das Drehen des Knopfs gleichzeitig mit der Drehung der Finger,
d. h., dass für
jeden Grad an Fingerdrehung sich der Knopf um ein Grad dreht. Im
Wesentlichen folgt der virtuelle Steuerknopf der Geste, die auf dem
Bildschirm erfolgt. Weiterhin kann eine Audioeinheit 194 des
Tablett PC's für jede Dreheinheit
ein Klickgeräusch
bereitstellen, z. B. fünf
Klicks bereitstellen, auf der Grundlage einer Drehung von fünf Grad.
Außerdem
kann eine haptische Einheit 196 des Tablett PC's 175 ein
gewisses Maß an
Vibration oder eine andere taktile Rückmeldung für jeden Klick bereitstellen,
wodurch ein tatsächlicher
Knopf simuliert wird.
-
Es
ist zu bemerken, dass zusätzliche
Gesten gleichzeitig zur Geste für
den virtuellen Steuerknopf ausgeführt werden können. Zum
Beispiel kann unter Verwendung beider Hände mehr als ein virtueller Steuerknopf
gleichzeitig gesteuert werden, d. h., eine Hand für jeden
virtuellen Steuerknopf. Alternativ oder zusätzlich können eine oder mehrere Schieberleisten gleichzeitig
mit dem virtuellen Steuerknopf gesteuert werden, d. h., dass eine
Hand den virtuellen Steuerknopf bedient, während wenigstens ein Finger
und vielleicht mehr als ein Finger der anderen Hand wenigstens einen
Schieber bedient, und möglicherweise
mehr als eine Schieberleiste, z. B. eine Schieberleiste für jeden
Finger.
-
Es
ist auch anzumerken, dass, obwohl die Ausführungsform mit Hilfe eines
virtuellen Steuerknopfs beschrieben wird, das Nutzeroberflächenelement
bei einer anderen Ausführungsform
ein virtuelles Bildlaufrad sein kann. Beispielhaft kann das virtuelle
Bildlaufrad ein tatsächliches
Bildlaufrad nachahmen, wie z. B. solche, die in den
US Patentveröffentlichungen Nr. 2003/0076303A1 ,
2003/0076301A1 ,
2003/0095096A1 beschrieben
sind, die hiermit durch Bezugname alle in die Offenbarung mit aufgenommen
werden. Wenn der Nutzer seine Finger auf der Oberfläche des
virtuellen Bildlaufrads platziert und eine wirbelartige, drehende
oder tangentiale Gestenbewegung ausführt, kann z. B. in Bezug auf
eine in einem Fenster angezeigte Objektliste ein Bildlaufvorgang
durchgeführt
werden.
-
7 ist
ein Diagramm eines berührungsbasierten
Verfahrens 200. Das Verfahren beginnt allgemein beim Kasten 202,
wo eine Nutzereingabe, die über
einer Mehrpunktsensoreinrichtung erfolgt, erfasst wird. Die Nutzereingabe
umfasst eine oder mehrere Berührungseingaben,
wobei jede Berührungseingabe
eine eindeutige Kennung hat. Im Anschluss an den Kasten 202 fährt das
berührungsbasierte
Verfahren 200 mit dem Kasten 204 fort, wo die Nutzereingabe
als eine Verfolgungs- oder
Auswahleingabe klassifiziert wird, wenn die Nutzereingabe eine einzige
eindeutige Kennung umfasst (Eingabe mit einer Berührung),
oder als eine Gesteneingabe klassifiziert wird, wenn die Nutzereingabe
wenigstens zwei eindeutige Kennungen umfasst (mehr als eine Berührungseingabe).
Wenn die Nutzereingabe als eine Verfolgungseingabe klassifiziert
wird, fährt das
berührungsbasierte
Verfahren 200 mit dem Kasten 206 fort, wo eine
Verfolgung gemäß der Nutzereingabe
durchgeführt
wird. Wenn die Nutzereingabe als eine Gesteneingabe klassifiziert
wird, fährt
das berührungsbasierte
Verfahren 200 mit dem Kasten 208 fort, wo eine
oder mehrere Gestensteuerhandlungen gemäß der Nutzereingabe durchgeführt werden.
Die Gestensteuerhandlungen basieren zumindest teilweise auf Veränderungen,
die mit oder zwischen den wenigstens zwei eindeutigen Kennungen stattfinden.
-
8 ist
ein Diagramm eines berührungsbasierten
Verfahrens 250. Das berührungsbasierte
Verfahren 250 beginnt allgemein beim Kasten 252,
wo ein anfängliches
Bild während
eines Eingabestrichs auf einer berührungsempfindlichen Oberfläche aufgenommen
wird. Im Anschluss an den Kasten 252 fährt das berührungsbasierte Verfahren 250 mit
dem Kasten 254 fort, wo auf der Grundlage des anfänglichen
Bildes der Berührungsmodus
bestimmt wird. Zum Beispiel kann, wenn das anfängliche Bild eine einzige eindeutige
Kennung umfasst, der Berührungsmodus
einem Verfolgungs-(tracking) oder Auswahlmodus entsprechen. Andererseits
kann, falls das Bild mehr als eine eindeutige Kennung umfasst, der
Berührungsmodus
einem Gestenmodus entsprechen. Im Anschluss an den Kasten 254 fährt das
berührungsbasierte
Verfahren 250 mit dem Kasten 256 fort, wo ein
nächstes
Bild während
des Eingabestrichs auf der berührungsempfindlichen
Oberfläche aufgenommen
wird. Typischer Weise werden die Bilder während des Strichs sequenziell
aufgenommen, und folglich kann es eine Mehrzahl von Bildern geben,
die dem Strich zugeordnet sind. Im Anschluss an den Kasten 256 fährt das
berührungsbasierte
Verfahren 250 mit dem Kasten 258 fort, wo festgestellt wird,
ob sich der Berührungsmodus
zwischen der Aufnahme des anfänglichen
Bildes und der Aufnahme des nachfolgenden Bildes verändert hat.
Falls sich der Berührungsmodus
verändert
hat, fährt
das berührungsbasierte
Verfahren 250 mit dem Kasten 260 fort, wo das
nachfolgende Bild als das anfängliche
Bild festgelegt wird, und anschließend wird erneut auf der Grundlage
des neuen anfänglichen
Bildes beim Kasten 254 der Berührungsmodus bestimmt. Falls
der Berührungsmodus
gleichgeblieben ist, fährt
das berührungsbasierte
Verfahren 250 mit dem Kasten 262 fort, wo das
anfängliche
und das nachfolgende Bild verglichen werden und eines oder mehrere
Steuersignale auf der Grundlage des Vergleichs erzeugt werden.
-
9 ist
ein Diagramm eines berührungsbasierten
Verfahrens 300. Das berührungsbasierte
Verfahren 300 beginnt beim Kasten 302, wo ein
Objekt der graphischen Nutzeroberfläche ausgegeben wird. Zum Beispiel
kann ein Prozessor eine Anzeige anweisen, ein besonderes Objekt
der graphischen Nutzeroberfläche
anzu zeigen. Im Anschluss an den Kasten 302 fährt das
berührungsbasierte
Verfahren 300 mit dem Kasten 304 fort, wo über dem
Objekt der graphischen Nutzeroberfläche eine Gesteneingabe empfangen
wird. Zum Beispiel kann ein Nutzer seine Finger gestenartig auf
der Oberfläche
des Berührungsbildschirms
absetzen oder bewegen und über dem
angezeigten Objekt der graphischen Nutzeroberfläche verweilen. Die Gesteneingabe
kann eine oder mehrere einzelne Gesten umfassen, die nacheinander
erfolgen, oder mehrere Gesten, die gleichzeitig erfolgen. Jede der
Gesten hat im Allgemeinen eine ihr zugeordnete besondere Sequenz,
Bewegung oder Orientierung. Zum Beispiel kann eine Geste das Auseinanderspreizen
der Finger oder das Zusammenführen
der Finger, das Drehen der Finger, das Versetzen der Finger, und/oder ähnliches
umfassen.
-
Im
Anschluss an den Kasten 304 fährt das berührungsbasierte Verfahren 300 mit
dem Kasten 306 fort, wo das Objekt der graphischen Nutzeroberfläche auf
der Grundlage und im Einklang mit der Gesteneingabe modifiziert
wird. Modifiziert heißt, dass
sich das Objekt der graphischen Nutzeroberfläche gemäß der gerade durchgeführten konkreten Geste
oder Gesten verändert.
Im Einklang heißt, dass
die Änderungen
annähernd
während
der Durchführung
der Geste oder Gesten erfolgen. In den meisten Fällen besteht eine eins zu eins
Beziehung zwischen der (den) Geste(n) und den beim Objekt der graphischen
Nutzeroberfläche
erfolgenden Änderungen,
und sie erfolgen im Wesentlichen gleichzeitig. Im Wesentlichen folgt
das Objekt der graphischen Nutzeroberfläche der Bewegung der Finger.
Zum Beispiel kann ein Spreizen der Finger gleichzeitig das Objekt
vergrößern, kann
ein Schließen
der Finger gleichzeitig das Objekt der graphischen Nutzeroberfläche verkleinern,
kann ein Drehen der Finger gleichzeitig das Objekt drehen, kann
ein Verschieben der Finger ein gleichzeitiges Mitführen oder
Durchlaufen des Objekts der graphischen Nutzeroberfläche erlauben.
-
Bei
einer Ausführungsform
kann der Kasten 306 die Bestimmung umfassen, welches Objekt
der graphischen Nutzeroberfläche
der gerade durchgeführten
Geste zugeordnet ist, und anschließend die Fixierung des angezeigten
Objekts an den über
ihm angeordneten Fingern, sodass das Objekt der graphischen Nutzeroberfläche sich
gemäß der Gesteneingabe
verändert.
Indem die Finger mit dem Objekt der graphischen Nutzeroberfläche fixiert
oder diesem zugeordnet werden, kann das Objekt der graphischen Nutzeroberfläche sich
fortlaufend gemäß dem anpassen,
was die Finger auf dem Berührungsbildschirm
machen. Oft erfolgt die Bestimmung und Fixierung beim Absetzen,
d. h., wenn der Finger auf dem Berührungsbildschirm positioniert
ist.
-
10 ist
ein Diagramm eines Zoom-Gestenverfahrens 350. Die Zoomgeste
kann auf einem Mehrpunktberührungsbildschirm
ausgeführt
werden. Das Zoomgestenverfahren 350 beginnt allgemein beim
Kasten 352, wo die Anwesenheit wenigstens eines ersten
Fingers und eines zweiten Fingers gleichzeitig auf einer Berührungsempfindlichen
Oberfläche erfasst
wird. Die Anwesenheit wenigstens zweier Finger ist darauf festgelegt
anzugeben, dass die Berührung
eine gestenartige Berührung
ist, anstatt einer Verfolgungsberührung, die auf einem Finger
basiert. In manchen Fällen
gibt die Anwesenheit von nur zwei Fingern an, dass die Berührung eine
gestenartige Berührung
ist. In anderen Fällen
gibt irgendeine Anzahl von mehr als zwei Fingern an, dass die Berührung eine
gestenartige Berührung
ist. Tatsächlich kann
die gestenartige Berührung
dahingehend festgelegt sein, dass sie unabhängig davon wirkt ob zwei, drei,
vier oder mehr Finger in Berührung
sind, und sogar, wenn die Anzahl sich während der Geste verändert, d.
h., es wird zu jeder Zeit während
der Gesten nur ein Minimum von zwei Fingern benötigt.
-
Im
Anschluss an den Kasten 352 fährt das Zoomgestenverfahren 350 mit
dem Kasten 354 fort, wo der Abstand zwischen den wenigstens
zwei Fingern verglichen wird. Der Abstand kann derjenige von Finger
zu Finger sein, oder von jedem Finger zu einem anderen Referenzpunkt,
wie z. B. dem Schwerpunkt. Falls sich der Abstand zwischen den zwei
Fingern vergrößert (Auseinanderspreizen),
wird ein Heranzoomsignal erzeugt, wie es im Kasten 356 gezeigt
ist. Wenn der Abstand zwischen den zwei Fingen sich verringert (zusammenführen), wird
ein Her auszoomsignal erzeugt, wie es im Kasten 358 gezeigt
ist. In den meisten Fällen
wird das Absetzen der Finger diese einem besonderen gerade angezeigten Objekt
der graphischen Nutzeroberfläche
zuordnen oder damit fixieren. Zum Beispiel kann die berührungsempfindliche
Oberfläche
ein Berührungsbildschirm
sein, und das Objekt der graphischen Nutzeroberfläche kann
auf dem Berührungsbildschirm angezeigt
sein. Dies erfolgt typischer Weise, wenn wenigstens einer der Finger über dem
Objekt der graphischen Nutzeroberfläche positioniert ist. Als Ergebnis
kann, wenn die Finger auseinander bewegt werden, das Heranzoomsignal
verwendet werden, um die Größe der im
Objekt der graphischen Nutzeroberfläche eingebetteten Merkmale
zu vergrößern, und, wenn
die Finger zusammengekniffen werden, kann das Herauszoomsignal verwendet
werden, um die Größe der im
Objekt eingebetteten Merkmale zu verringern. Das Zoomen erfolgt
typischer Weise innerhalb einer vorbestimmten Grenze, wie z. B.
die Peripherie der Anzeige, die Peripherie eines Fensters, dem Rand
des Objekts der graphischen Nutzeroberfläche, und/oder ähnlichem.
Die eingebetteten Merkmale können über eine
Mehrzahl von Lagen ausgebildet sein, wobei jede eine unterschiedliche
Zoomstufe repräsentiert.
In den meisten Fällen
verändert sich
die Zoomstärke
gemäß dem Abstand
zwischen den zwei Objekten. Weiterhin kann das Zoomen typischer
Weise im Wesentlichen gleichzeitig mit der Bewegung der Objekte
erfolgen. Zum Beispiel, während die
Finger auseinander gespreizt oder zusammengeführt werden, zoomt gleichzeitig
das Objekt heran oder weg. Obwohl diese Methodologie auf das Zoomen
abzielt, ist anzumerken, dass sie auch für das Vergrößern oder Verkleinern verwendet
werden kann. Das Zoomgestenverfahren 350 kann in graphischen
Programmen, wie z. B. Veröffentlichungs-(publishing),
Foto- und Zeichenprogrammen besonders nützlich sein. Weiterhin kann
das Zoomen eingesetzt werden, um ein Peripheriegerät wie z.
B. eine Kamera zu steuern, d. h., dass, wenn die Finger auseinandergespreizt
werden, die Kamera herauszoomt, und, wenn die Finger geschlossen
werden, die Kamera hereinzoomt.
-
Die 11A bis 11H veranschaulichen eine
Zoomsequenz unter Verwendung des oben beschriebenen Verfahrens.
Die 11A veranschaulicht eine An zeige,
die ein Objekt 364 einer graphischen Nutzeroberfläche in der
Form einer Karte Nordamerikas präsentiert,
mit eingebetteten Ebenen, die gezoomt werden können. In manchen Fällen wird, wie
gezeigt, das Objekt der graphischen Nutzeroberfläche innerhalb eines Fensters
positioniert, das eine Grenze des Objekts 364 der graphischen
Nutzeroberfläche
bildet. Die 11B veranschaulicht einen Nutzer,
der seine Finger 366 über
einer Region Nordamerikas 368, insbesondere die vereinigten
Staaten 370 und ganz besonders Kalifornien 372 positioniert.
Um Kalifornien 372 heran zu zoomen, beginnt der Nutzer
damit, seine Finger 366 auseinander zu spreizen, wie es
in der 11C gezeigt ist. Mit dem weiteren
Auseinanderspreizen der Finger 366 (der Abstand vergrößert sich)
zoomt die Karte weiterhin Nordkalifornien 374 heran, dann
eine bestimmte Region von Nordkalifornien 374, dann das
Buchtgebiet 376, dann die Halbinsel 378 (z. B.
das Gebiet zwischen San Franzisko und der San Jose Gegend), und
dann die Stadt von San Carlos 380, die sich zwischen San
Franzisko und San Jose befindet, wie es in den 11D bis 11H veranschaulicht
ist. Um aus San Carlos 380 heraus und zurück nach
Nordamerika 368 zu zoomen, werden die Finger 366 wieder
gemäß der oben
beschriebenen Sequenz, aber in umgekehrter Reihenfolge, geschlossen.
-
12 ist
ein Diagramm eines Mitführverfahrens 400.
Die Mitführgeste
kann auf einem Mehrpunktberührungsbildschirm
ausgeführt
werden. Das Mitführverfahren 400 beginnt
allgemein beim Kasten 402, wo die Anwesenheit wenigstens
eines ersten Objekts und eines zweiten Objekts auf einer berührungsempfindlichen
Oberfläche
gleichzeitig erfasst wird. Die Anwesenheit wenigstens zweier Finger
ist dahingehend festgelegt, dass sie angibt, dass die Berührung eine
Gestenberührung
ist, anstatt einer Verfolgungs-(tracking)-berührung, die auf einem Finger basiert.
In manchen Fällen
gibt die Anwesenheit von nur zwei Fingern an, dass die Berührung eine
gestenartige Berührung
ist. In anderen Fällen
gibt jegliche Anzahl von mehr als zwei Fingern an, dass die Berührung eine
gestenartige Berührung
ist. Tatsächlich kann
die gestenartige Berührung
derart konfiguriert sein, dass sie wirkt, unabhängig davon, ob zwei, drei, vier
oder mehr Finger sich in Berührung
befinden, und selbst wenn die Anzahl während der Geste wechselt, d.
h., es nur ein Minimum von zwei Fingern benötigt. Im Anschluss an den Kasten 402 fährt das Mitführverfahren 400 zum
Kasten 404 fort, wo die Position der zwei Objekte, wenn
die Objekte gemeinsam über
den Berührungsbildschirm
bewegt werden, überwacht
wird. Im Anschluss an den Kasten 404 fährt das Mitführverfahren 400 mit
dem Kasten 406 fort, wo ein Mitführsignal erzeugt wird, wenn
die Position der zwei Objekte sich im Verhältnis zu einer Anfangsposition
verändert.
In den meisten Fällen
wird das Absetzen der Finger die Finger einem bestimmten auf dem
Berührungsbildschirm
angezeigten Objekt der graphischen Nutzeroberflächen zuordnen oder sie mit
diesen fixieren. Typischer Weise, wenn wenigstens einer der Finger über dem
Bild auf dem Objekt der graphischen Nutzeroberfläche positioniert ist. Daraus
ergibt sich, dass, wenn die Finger gemeinsam über dem Berührungsbildschirm bewegt werden,
das Mitführsignal
verwendet werden kann, um das Bild in Richtung der Finger zu verschieben.
In den meisten Fällen ändert sich
das Ausmaß des
Mitführens
gemäß der Strecke,
um welche sich die zwei Objekte bewegen. Weiterhin kann das Mitführen typischer
Weise im Wesentlichen gleichzeitig mit der Bewegung der Objekte
erfolgen. Zum Beispiel, während sich
die Finger bewegen, bewegt sich das Objekt zeitgleich mit den Fingern.
-
Die 13A bis 13D veranschaulichen eine
Mitführsequenz,
die auf dem oben beschriebenen Mitführverfahren 400 basiert.
Unter Verwendung der Karte der 11 veranschaulicht 13A einen Nutzer, der seine Finger 366 über der
Karte positioniert. Beim Absetzen werden die Finger 366 mit
der Karte fixiert. Wie es in der 13B gezeigt
ist, wird, wenn die Finger 366 senkrecht nach oben bewegt werden,
die gesamte Karte 364 nach oben bewegt, wobei veranlasst
wird, dass bisher gesehene Abschnitte der Karte 364 außerhalb
des Sichtbereichs platziert werden, und ungesehene Abschnitte der Karte 364 innerhalb
des Sichtbereichs platziert werden. Wie es in der 13C gezeigt ist, wird, wenn die Finger 366 waagerecht
zur Seite bewegt werden, die gesamte Karte 364 zur Seite
bewegt, wodurch veranlasst wird, dass bisher gesehene Abschnitte der
Karte 364 außerhalb
des Sichtbereichs platziert werden, und ungesehene Abschnitte der
Karte innerhalb des Sichtbereichs platziert werden. Wie es in 13D gezeigt ist, wird, wenn die Finger 366 diagonal
bewegt werden, die gesamte Karte 364 diagonal bewegt, wodurch
veranlasst wird, dass bisher gesehene Abschnitte der Karte 364 außerhalb
des Sichtbereichs platziert werden, und ungesehene Abschnitte der
Karte innerhalb des Sichtbereichs platziert werden. Wie man erkennt,
folgt die Bewegung der Karte 364 der Bewegung der Finger 366.
Dieser Prozess ist ähnlich
dem Verschieben eines Blatt Papiers entlang eines Tisches. Der durch
die Finger auf das Papier ausgeübte
Druck fixiert das Papier an den Fingern, und wenn die Finger über den
Tisch verschoben werden, bewegt sich das Stück Papier mit ihnen.
-
14 ist
ein Diagramm eines Drehverfahrens 450. Die Drehgeste kann
auf einem Mehrpunktberührungsbildschirm
ausgeführt
werden. Das Drehverfahren 450 beginnt allgemein beim Kasten 452, wo
die Anwesenheit eines ersten Objekts und eines zweiten Objekts gleichzeitig
erfasst wird. Die Anwesenheit von wenigstens zwei Fingern ist dahin
gehend festgelegt, dass sie angibt, dass die Berührung eine gestenartige Berührung ist,
anstatt einer Verfolgungsberührung,
die auf einem Finger basiert. In manchen Fällen gibt die Anwesenheit von
nur zwei Fingern an, dass die Berührung eine gestenartige Berührung ist.
In anderen Fällen
gibt jegliche Anzahl von mehr als zwei Fingern an, dass die Berührung eine
gestenartige Berührung
ist. Tatsächlich
kann die gestenartige Berührung
derart konfiguriert sein, dass sie wirkt, unabhängig davon, ob zwei, drei,
vier oder mehr Finger sich in Berührung befinden, und selbst wenn
sich die Anzahl während
der Geste verändert, d.
h., das nur ein Minimum von zwei Fingern benötigt wird.
-
Im
Anschluss an den Kasten 452 fährt das Drehverfahren 450 mit
dem Kasten 454 fort, wo der Winkel eines jeden Fingers
festgelegt wird. Typischer Weise werden die Winkel in Bezug zu einem
Referenzpunkt bestimmt. Im Anschluss an den Kasten 454 fährt das
Drehverfahren 450 mit dem Kasten 456 fort, wo
ein Drehsignal erzeugt wird, wenn der Winkel wenigstens eines der
Objekte sich im Verhältnis
zum Bezugspunkt ändert.
In den meisten Fällen
wird das Absetzen der Finger die Finger einem bestimmten auf dem
Berührungsbildschirm
angezeigten Objekt der graphischen Nutzeroberfläche zuordnen, oder sie mit
diesem fixieren. Typischer Weise wird, wenn wenigstens einer der
Finger über
dem Bild auf dem Objekt der graphischen Nutzeroberfläche positioniert ist,
das Objekt der graphischen Nutzeroberfläche den Fingern zugeordnet
oder an diesen fixiert. Es ergibt sich daraus, dass, wenn die Finger
gedreht werden, das Drehsignal verwendet werden kann, um das Objekt
in Richtung der Fingerdrehung zu drehen (z. B. im Uhrzeigersinn
oder gegen den Uhrzeigersinn). In den meisten Fällen ändert sich das Ausmaß der Drehung
des Objekts gemäß dem Ausmaß der Fingerdrehung,
d. h., dass wenn die Finger sich um fünf Grad bewegen, das Objekt
das gleiche tut. Weiterhin kann die Drehung typischer Weise im Wesentlichen gleichzeitig
mit der Bewegung der Finger erfolgen. Zum Beispiel, während sich
die Finger drehen, dreht sich das Objekt gleichzeitig mit den Fingern.
-
Die 15A bis 15C veranschaulichen eine
Drehsequenz, die auf dem oben beschriebenen Verfahren basiert. Unter
Verwendung der Karte der 11 veranschaulicht
die 15A einen Nutzer, der seine
Finger 366 über
der Karte 364 positioniert. Beim Absetzen werden die Finger 366 mit
der Karte 364 fixiert. Wie es in der 15B gezeigt ist, wird, wenn die Finger 366 im
Urzeigersinn gedreht werden, die gesamte Karte 364 im Urzeigersinn
gedreht, gemäß dem Drehen
der Finger 366. Wie es in der 15C gezeigt
ist, wird, wenn die Finger 366 entgegen dem Uhrzeigersinn
gedreht werden, die gesamte Karte 364 gegen den Urzeigersinn
gedreht, gemäß den drehenden
Fingern 366.
-
Es
ist anzumerken, dass die in den 10 bis 15 beschriebenen Verfahren während desselben gestenartigen
Strichs umgesetzt sein können.
Das heißt,
dass Zoomen, Drehen und Mitführen
alle während
des gestenartigen Strichs ausgeführt
werden können,
der ein Spreizen, Drehen und Verschieben der Finger umfassen kann.
Zum Beispiel wird beim Absetzen wenigstens zweier Finger das angezeigte Objekt
(die Karte) den zwei Fingern zugeordnet oder an diesen fixiert.
Um zu zoomen kann der Nutzer die Finger spreizen oder zusammenführen. Um zu
drehen, kann der Nutzer seine Finger drehen. Um mitzuführen, kann
der Nutzer seine Finger verschieben. Jede dieser Aktionen kann gleichzeitig
innerhalb einer kontinuierlichen Bewegung stattfinden. Zum Beispiel
kann der Nutzer seine Finger spreizen und schließen, während er sie über dem
Berührungsbildschirm
dreht und verschiebt. Alternativ kann der Nutzer jede dieser Bewegungen
segmentieren, ohne den gestenartigen Strich zurücksetzen zu müssen. Zum
Beispiel kann der Nutzer als erstes seine Finger spreizen, dann
seine Finger drehen, dann seine Finger schließen, dann seine Finger verschieben
usw.
-
16 ist
ein Diagramm eines Verfahrens 500 zum Betreiben einer graphischen
Nutzeroberfläche.
Das Betriebsverfahren 500 für die graphische Nutzeroberfläche ist
dafür ausgelegt,
um in einer graphischen Nutzeroberfläche hervortretende Steuerelemente
auszulösen.
Das Betriebsverfahren 500 für eine graphische Nutzeroberfläche beginnt
allgemein bei einem Kasten 502, wo die Anwesenheit eines
Objekts wie z. B. eines Fingers oder Daumens erfasst wird. Dies
kann z. B. durch Verwendung eines Berührungsbildschirms erreicht
werden. Im Anschluss an den Kasten 502 fährt das
Betriebsverfahren 500 für eine
graphische Nutzeroberfläche
mit dem Kasten 504 fort, wo das Objekt erkannt wird (die
Identität
des Objekts wird herausgefunden). Das Objekt kann unter einer Mehrzahl
von Objekten erkannt werden. Siehe z. B. oben, den Kasten 104 der 2.
-
Im
Anschluss an den Kasten 504 fährt das Betriebsverfahren 500 für eine graphische
Nutzeroberfläche
mit dem Kasten 506 fort, wo ein Bild in der Nähe des Objekts
erzeugt wird. Typischer Weise basiert das Bild auf dem erkannten
Objekt. Das Bild kann Fenster, Felder, Dialogfenster, Menüs, Ikons, Knöpfe, Zeiger,
Bildlaufbalken, usw. umfassen. In manchen Fällen kann der Nutzer das Bild
(oder darin eingebettete Merkmal) auswählen und aktivieren, um Funktionen
und Aufgaben zu initiieren. Beispielhaft kann das Bild ein Element
einer Nutzeroberfläche oder
eine Gruppe von Elementen einer Nutzeroberfläche sein (z. B., ein oder mehrere
Knöpfe,
die ein Fenster öffnen,
schließen,
minimieren oder maximieren). Bei dem Bild kann es sich auch um eins
oder mehrere Ikons handeln, die ein besonde res Programm oder Dateien
starten, die sich öffnen,
wenn sie ausgewählt
werden. Zusätzlich
kann das Bild nicht interaktivem Text und Graphiken entsprechen. In
den meisten Fällen
wird das Bild solange angezeigt wie das Objekt erfasst wird, oder
es kann während
einer vorher eingestellten Zeitspanne angezeigt werden, d. h., dass
es nach einer Zeitspanne abgelaufen ist und entfernt wird.
-
Bei
einer besonderen Ausführungsform
umfasst das Bild eine oder mehrere Steueroptionen, die durch den
Nutzer ausgewählt
werden können.
Die Steueroptionen können
einen oder mehrere Steuerknöpfe
umfassen, um diverse Aufgaben umzusetzen. Zum Beispiel kann dass
Steueroptionsfenster Steuerknöpfe
zum Musikhören
umfassen, wie z. B. Abspielen, Pause, Suchlauf und Menü.
-
Die 17A bis 17E veranschaulichen eine
Sequenz mit hervortretendem Steuerelement, die das oben beschriebene
Verfahren einsetzt. Wie es in der 17A gezeigt
ist, verwendet ein Nutzer 510 einen Tablett PC 512 und
halt folglich den Tablett PC 512 mit einer Hand 514 während er
mit der anderen Hand 516 navigiert (z. B. verfolgen (tracking), gestikulieren).
Wie es in der 17B gezeigt ist, die eine Nahansicht
des den Tablett PC 512 haltenden Nutzers ist, ist ein Abschnitt
des Daumens der haltenden Hand 514 über dem Berührungsbildschirm 520 positioniert.
Wie es in 17C gezeigt ist, erkennt der
Tablett PC 512 den Daumen und zeigt in der Nähe des Daumen
ein Steuerfeld 522 an. Das Steuerfeld 522 umfasst
diverse Knöpfe 524,
die durch den Daumen des Nutzers ausgewählt werden können, um
in dem Tablett PC 512 Aufgaben zu initiieren. Wie es in
der 17D gezeigt ist, wird, während der
Tablett PC 512 gehalten wird, der Daumen über einem der
Knöpfe 524 ausgestreckt,
welcher anschließend angetippt
wird, wodurch die dem Knopf 524 zugeordnete Aufgabe ausgewählt wird.
Beispielhaft kann die Aufgabe dem Starten eines Programms oder dem Zugriff
zu einem Netzwerk oder dem Ändern
des Betriebsmodus der Einrichtung zugeordnet sein. Das Steuerfeld 522 und
die Knöpfe 524 können verwendet
werden, um den Eingabemodus des Berührungsbildschirms 520 zu ändern, sodass
z. B. die identische Geste, die mit den Fingern der anderen Hand des
Nutzers ausgeführt
wird, mehrere Bedeutungen haben kann, in Abhängigkeit davon, welcher der Knöpfe 524 ausgewählt ist.
Wie es in der 17E gezeigt ist, kann, wenn
der Daumen vom Berührungsbildschirm 520 wegbewegt
wird, das Steuerfeld 522 ablaufen und verschwinden. Alternativ
kann das Steuerfeld unter Verwendung herkömmlicher Schließikons oder
-knöpfe
geschlossen werden.
-
Die 18 ist
ein Diagramm eines Betriebsverfahrens 550 für eine graphische
Nutzeroberfläche.
Das Betriebverfahren 550 für eine graphische Nutzeroberfläche ist
dafür ausgelegt,
das Zoomen von Zielen auszulösen.
Das Betriebsverfahren 550 für eine graphische Nutzeroberfläche beginnt
allgemein bei einem Kasten 552, wo ein Steuerfeld in Form
eines Elements einer graphischen Nutzeroberfläche angezeigt wird. Das Steuerfeld
enthält
einen oder mehrere Steuerknöpfe,
die recht nahe bei einander liegen, und die verwendet, werden können, um Aktionen
auszuführen.
Das Steuerfeld kann z. B. Steuerknöpfe wie etwa Maximieren, Minimieren, Schließen und ähnliches
umfassen. Im Anschluss an den Kasten 552 fährt das
Betriebsverfahren 550 für eine
graphische Nutzeroberfläche
mit dem Kasten 554 fort, wo das Steuerfeld vergrößert wird,
oder wenigstens einer der Steuerknöpfe vergrößert wird, während einer
Zeitspanne, über
welche die Anwesenheit eines Objekts über dem Steuerfeld oder einem
der Steuerknöpfe
erfasst wird. Indem Fall, wo das Steuerfeld vergrößert wird,
wird jeder der Steuerknöpfe
vergrößert, wodurch
deren Auswahl viel leichter gemacht wird. In dem Fall, wo nur der
Steuerknopf vergrößert wird,
würde der
Nutzer entscheiden, ob dies der richtige Knopf ist, und falls dies
der Fall ist, den vergrößerten Steuerknopf
auswählen,
oder den Prozess erneut starten, sodass der geeignete Steuerknopf
präsentiert
wird. In den meisten Fällen
entspricht die Größe der Steuerknöpfe der
Größe des Fingers,
sodass sie durch das Objekt leicht ausgewählt werden können. Im
Anschluss an den Kasten 554 fährt das Betriebsverfahren 550 für eine graphische
Nutzeroberfläche
mit dem Kasten 556 fort, wo ein dem ausgewählten Steuerknopf
zugeordnetes Steuersignal erzeugt wird, wenn die Anwesenheit des
Objekts über
einem der vergrößerten Steuerknöpfe erfasst
wird.
-
Die 19A bis 19D veranschaulichen eine
Sequenz zum Zoomen eines Ziels unter Verwendung des oben beschriebenen
Betriebsverfahrens 550 für eine graphische Nutzeroberfläche. Wie es
in der 19A gezeigt ist, platziert ein
Nutzer 510 seinen Finger 576 über ein Steuerfeld 578.
Da die Knöpfe 580 des
Steuerfelds 578, in welchem sie enthalten sind, kleiner
sind als der Finger 576 und nahe bei einander liegen, ist
es für
den Nutzer 510 schwierig, direkt eine Auswahl vorzunehmen,
ohne möglicherweise
einen unerwünschten
Knopf 580 zu drücken,
z. B., ein Knopf neben dem gewünschten Knopf.
Beispielhaft kann der Finger 576 zwei oder mehr Knöpfe 580 abdecken.
Wie es in 19B gezeigt ist, wird wenigstens
ein Abschnitt des Steuerfeldes 578 vergrößert, der
die darin enthaltenen Knöpfe 580 enthält, wenn
der Nutzer seinen Daumen über dem
Steuerfeld platziert. Wie es in 19C gezeigt ist,
sobald das Steuerfeld seinen vergrößerten Zustand erreicht hat,
kann der Nutzer einen der vergrößerten Knöpfe auswählen, der
nun näher
an der Größe des Daumens
liegt. Beispielhaft kann der Nutzer den gewünschten Steuerknopf antippen.
Wie es in der 19D gezeigt ist, verringert
sich das Steuerfeld auf seine Anfangsgröße, nachdem der Knopf ausgewählt ist,
oder nach einer vorbestimmten Zeitspanne, während welcher keine Auswahl
erfolgt ist (es läuft
zum Beispiel ab), oder wenn der Nutzer seinen Finger von dem Steuerfeld
wegbewegt.
-
20 ist
ein Diagramm eines Betriebsverfahrens 600 einer graphischen
Nutzeroberfläche. Das
Betriebsverfahren 600 einer graphischen Nutzeroberfläche ist
dafür ausgelegt,
das Blättern
einer Seite auszulösen.
Das Betriebsverfahren 600 einer graphischen Nutzeroberfläche beginnt
allgemein beim Kasten 602, wo eine Seite unter einer Vielzahl von
Seiten in einer graphischen Nutzeroberfläche angezeigt wird. Beispielhaft
können
die Seiten einem elektronischen Buch zugeordnet sein. Im Anschluss an
den Kasten 602 fährt
das Betriebsverfahren 600 einer graphischen Nutzeroberfläche mit
dem Kasten 604 fort, wo die Anwesenheit eines Objekts (oder
von Objekten) in einem vorbestimmten Bereich über der Seite erfasst wird.
Der vorbestimmte Bereich kann z. B. dem Bereich entsprechen, wo
die Seitenzahl angezeigt ist. Im Anschluss an den Kasten 604 fährt das Betriebsver fahren 600 einer
graphischen Nutzeroberfläche
mit dem Kasten 606 fort, wo ein Signal für ein Seitenblättern erzeugt
wird, wenn das Objekt (oder die Objekte) innerhalb des vorbestimmten
Bereichs verschoben wird. Die Verschiebung ist dafür ausgelegt,
einen Finger zu simulieren, der in einem wirklichen papiergebundenen
Buch die Seite umblättert.
Die Richtung der Verschiebung gibt an, ob innerhalb der Liste an
Seiten zur nächsten
oder vorhergehenden Seite gegangen werden soll. Zum Beispiel wird
dann, wenn der Finger von rechts nach links geführt wird, ein Signal für eine Seite
rückwärts erzeugt, und
wenn der Finger von links nach rechts geführt wird, wird ein Signal für eine Seite
vorwärts
erzeugt. Das Betriebsverfahren 600 für eine graphische Nutzeroberfläche kann
auf mehrere Arten verbessert werden. Wenn mehrere Finger geführt werden,
dann kann dies z. B. ein Signal zum Umblättern erzeugen, das größer als
eine Seite ist. Zum Beispiel entspricht das Führen von zwei Fingern einem
Umblättern
von zwei Seiten, entspricht das Führen von drei Fingern dem Umblättern von
drei Seiten, usw. Oder ein Führen
von zwei Fingern entspricht einem Umblättern von zehn Seiten, ein
Führen
von drei Fingern entspricht einem Umblättern von fünfzig Seiten, usw.
-
21A–21D veranschaulichen eine Sequenz zum Seitenblättern unter
Verwendung des oben beschriebenen Betriebsverfahrens 600 für eine grafische
Nutzeroberfläche.
Wie es in der 21A gezeigt ist, bei der es
sich um eine Nahansicht eines Nutzers 510 handelt, der
einen Tablett PC 512 hält, führt der
Nutzer seinen Finger über
die Seitenzahl in eine Richtung zur linken Seite der Seite 630 hin.
Wie es in 21B gezeigt ist, erkennt der
Tablett PC 512 die geführte
Bewegung und die Richtung der geführten Bewegung im Bereich der
Seitenzahl, und folglich zeigt der Tablett PC 512 die nächste Seite
einer Gruppe von Seiten an. Dies kann wiederholt durchgeführt werden,
um die Gruppe an Seiten zu durchstreifen. Wie es in 21C gezeigt ist, führt der Nutzer seinen Finger 576 über die
Seitenzahl in eine Richtung zur rechten Seite der Seite 630 hin.
Wie es in 21D gezeigt ist, erkennt der
Tablett PC 512 die geführte
Bewegung und die Richtung der geführten Bewegung im Bereich der
Seitenzahl, und folglich zeigt der Tablett PC 512 die vorherige
Seite einer Gruppe an Seiten an. Dies kann wiederholt durchgeführt werden,
um die Gruppe an Seiten zu durchstreifen.
-
22 ist
ein Diagramm eines Betriebsverfahrens 650 für eine grafische
Nutzeroberfläche.
Das Betriebsverfahren 650 für eine grafische Nutzeroberfläche ist
dafür ausgelegt,
um typischerweise während
eines Bildlaufs- oder Mitführvorgangs
eine Trägheit
zu bewirken. Die Trägheit
wird im Allgemeinen als die Neigung definiert, die ein sich im Stillstand
befindlicher Körper
hat, im Stillstand zu bleiben, oder, die ein sich in Bewegung befindlicher
Körper
hat, in Bewegung entlang einer geraden Linie zu verbleiben, es sei
denn, er wird durch eine äußere Kraft
gestört. In
dieser besonderen Ausführungsform
sind der grafischen Nutzeroberfläche
oder einem Abschnitt davon Trägheitseigenschaften
zugeordnet, bei denen es sich um dessen Widerstand gegenüber einer
Bewegungsänderungsrate
handelt. Bei einer grafischen Nutzeroberfläche mit hohen Trägheitseigenschaften wird
die Beschleunigung der grafischen Nutzeroberfläche für eine gegebene Eingabe gering
sein. Andererseits, wenn die grafische Nutzeroberfläche geringe
Trägheitseigenschaften
hat, wird die Beschleunigung für
eine gegebene Eingabe hoch sein.
-
Das
Betriebsverfahren 650 für
eine grafische Nutzeroberfläche
beginnt allgemein beim Kasten 652, wo ein grafisches Bild
auf einer grafischen Nutzeroberfläche angezeigt wird. Im Anschluss
an den Kasten 4652 fährt
das Betriebsverfahren 650 für eine grafische Nutzeroberfläche mit
dem Kasten 654 fort, wo ein Bildlauf- oder Mitführstrich auf einer berührungsempfindlichen
Oberfläche
erfasst wird. Beispielhaft kann der Strich ein Linear- oder Drehstrich sein.
Bei einem Linearstrich folgt typischerweise die Richtung des Bildlaufs
oder des Mitführens
der Richtung des Strichs. Bei einem Drehstrich (siehe 6) wird der Drehstrich typischerweise
in eine lineare Eingabe umgewandelt, wobei eine Bewegung im Uhrzeigersinn
senkrecht nach oben und eine Bewegung gegen den Uhrzeigersinn senkrecht
nach unten entsprechen kann. Im Anschluss an den Kasten 654 fährt der
Verfahrensablauf mit dem Kasten 656 fort, wo die Geschwindigkeit
und Richtung des Bildlauf- oder Mitführstrichs bestimmt wird. Im
Anschluss an den Kasten 656 fährt das Betriebsverfahren 650 für eine grafische
Nutzeroberfläche
mit dem Kasten 658 fort, wo das Bild gemäß der Geschwindigkeit
und Richtung des Bildlaufs- oder
Mitführstrichs
sowie zugeordneter Trägheitseigenschaften
bewegt wird. Im Anschluss an den Kasten 658 fährt das
Betriebsverfahren 650 für
eine grafische Nutzeroberfläche
mit dem Kasten 660 fort, wo die Bewegung des Bildes fortwährt, selbst
wenn der Mitführstrich
oder Bildlaufstrich nicht mehr erfasst wird. Wenn z. B. der Nutzer seinen
Finger von der berührungsempfindlichen Oberfläche abhebt,
fährt die
Bildlauf- oder Mitführfunktion
fort, als ob der Bildlauf- oder Mitführstrich weiterhin ausgeführt würde. In
manchen Fällen
wird die Bewegung des Bildes endlos fortgeführt, bis irgendeine Brems-(Stoppen
oder Verlangsamen)-Steuerung erfolgt. Diese besondere Methodik simuliert
Schwerelosigkeit. In anderen Fällen
wird die Bewegung des Bildes gemäß dem zugeordneten
Betriebsverfahren 650 für
eine grafische Nutzeroberfläche
mit Trägheit
verlangsamt. Metaphorisch gesprochen kann das Bild einem Stück Papier
entsprechen, das sich über
eine Tischplatte bewegt. Um das Stück Papier zu bewegen, übt der Nutzer
auf das Papier eine Kraft in die gewünschte Richtung aus. Wenn der Nutzer
seinen Finger vom Papier abhebt, wird das Papier weiterhin über einen
gewissen Zeitraum entlang der Tischplatte in die gewünschte Richtung
gleiten. Das Ausmaß des
Gleitens nach dem Abheben des Fingers hängt allgemein unter anderem
von dessen Masse, der durch den Finger angewandten Kraft, der zwischen
dem Papier und der Tischplatte bestehenden Reibungskraft, usw. ab.
Wie man weiß, stoppt
bei der herkömmlichen
Umsetzung eines Bildlaufs und Mitführens der Bildlauf oder das
Mitführen, wenn
die Finger abgehoben werden. Im Gegensatz dazu bewegt sich unter
Verwendung der oben erwähnten
Methodik der Bildlauf oder das Mitführen weiter, wenn die Finger
abgehoben werden.
-
Das
Betriebsverfahren 650 für
eine grafische Nutzeroberfläche
kann zusätzlich
die Kasten A und B umfassen. Im Kasten A wird ein Objekt, wie z.
B. ein Finger, auf der berührungsempfindlichen
Oberfläche erfasst,
wenn sich das Bild ohne Hilfe des Objekts bewegt (Kasten 660).
Im Kasten B wird die Bewegung des Bildes gestoppt, wenn das Objekt
erfasst wird, d. h. dass die neue Berührung als ein Bremsmittel dient.
Unter Verwendung der obigen Metapher drückt der Nutzer, während das
Stück Papier über die Tischplatte
gleitet, seinen Finger auf das Papier, wodurch dessen Bewegung gestoppt
wird.
-
Die 23A bis 23D veranschaulichen eine
Trägheitssequenz
unter Verwendung des oben beschriebenen Verfahrens. Die 23A veranschaulicht eine Anzeige, die eine grafische
Nutzeroberfläche 678 mit
einem Fenster 679 präsentiert,
das eine Liste 680 von Medienelementen 681 aufweist. Das
Fenster 679 und die Liste 680 können z.
B. einem Steuerfenster und einer Musikliste entsprechen, die sich
in iTunesTM finden, das durch Apple Computer,
Inc. aus Cupertino, Kalifornien, hergestellt wird. Wie es in 23B gezeigt ist, wird, wenn der Nutzer seinen
Finger oder seine Finger 576 über den Berührungsbildschirm 520 gleiten
lässt,
ein senkrechter Bildlauf, der Medienelemente nach oben oder nach unten
durch das Fenster bewegt, umgesetzt. Die Richtung des Bildlaufs
kann derselben Richtung wie der Fingerbewegung folgen (wie es gezeigt
ist) oder es kann in die entgegen gesetzte Richtung gehen. Bei einer
besonderen Ausführungsform
wird ein einzelner Finger verwendet, um die Medienelemente in der
Liste auszuwählen,
und es werden zwei Finger verwendet, um die Liste zu durchlaufen.
-
Ein
Bildlauf betrifft allgemein das Bewegen von angezeigten Daten oder
Bildern (z. B. Medienelemente 681) über eine Ansichtsfläche auf
einem Anzeigebildschirm, so dass ein neuer Datensatz (z. B. Medienelemente 681)
in der Ansichtsfläche
in Sicht kommt. Sobald die Ansichtsfläche voll ist, erscheint in den
meisten Fällen
jeder neue Datensatz am Rand der Ansichtsfläche, und alle anderen Datensätze bewegen
sich um eine Position weiter. Das heißt, dass der neue Datensatz
für jeden
Datensatz erscheint, der sich aus der Ansichtsfläche heraus bewegt. Im Wesentlichen
erlauben es diese Funktionen einem Nutzer, sich einander anschließende Datensätze zu betrachten,
die sich gegenwärtig
außerhalb
der Ansichtsfläche
befinden. In den meisten Fällen
kann der Nutzer die Durchquerung der Datensätze beschleunigen, indem er
seinen Finger mit höherer
Geschwindigkeit bewegt.
-
-
Wie
es in der 23C gezeigt ist, bewegen sich
die angezeigten Daten weiter, selbst wenn der Finger vom Berührungsbildschirm
entfernt wird. Die fortlaufende Bewegung basiert zumindest teilweise auf
der vorhergehenden Bewegung. Zum Beispiel kann der Bildlauf in der
gleichen Richtung und mit derselben Geschwindigkeit fortfahren.
In manchen Fällen
verlangsamt sich der Bildlauf mit der Zeit, d. h., dass die Geschwindigkeit
der Durchquerung der Medienelemente sich immer mehr verlangsamt,
bis der Bildlauf schlussendlich anhält, wodurch eine statische
Liste verbleibt. Beispielhaft kann jedes neue Medienelement, das
in die Ansichtsfläche
gebracht wird, die Geschwindigkeit inkrementell verringern. Alternativ
oder zusätzlich,
wie es in der 23D gezeigt ist, beenden die
angezeigten Daten ihre Bewegung, wenn der Finger 576 zurück auf den
Berührungsbildschirm 520 gesetzt
wird. Das heißt,
dass das erneute Absetzen des Fingers auf dem Berührungsbildschirm
ein Bremsen umsetzen kann, das die fortlaufend wirkende Bewegung
stoppt oder verlangsamt. Obwohl diese Sequenz auf einen senkrechten
Bildlauf gerichtet ist, ist anzumerken, dass dies nicht eine Beschränkung ist
und dass ein waagerechter Bildlauf sowie ein Mitführen unter
Verwendung der oben beschriebenen Verfahren ausgeführt werden
können.
-
24 ist
ein Diagramm eines Betriebssystems 700 für eine grafische
Nutzeroberfläche.
Das Verfahren 700 ist dafür ausgelegt, eine Tastatur
zu simulieren. Das Verfahren beginnt allgemein beim Kasten 702,
wo auf der Anzeige eine Tastatur präsentiert wird. Im Anschluss
an den Kasten 702 fährt der
Verfahrensvorgang mit dem Kasten 704 fort, wo die Anwesenheit
eines ersten Objekts über
einer ersten Taste und gleichzeitig eines zweiten Objekts über einer
zweiten Taste auf einem Berührungsbildschirm erfasst
wird. Der Berührungsbildschirm
ist über
oder vor der Anzeige positioniert. Beispielhaft kann die Anzeige
eine Flüssigkris tallanzeige
(LCD) sein und kann der Berührungsbildschirm
ein Mehrpunkt-Berührungsbildschirm
sein. Im Anschluss an den Kasten 704 fährt der Verfahrensvorgang mit
dem Kasten 706 fort, wo ein oder mehrere gleichzeitige
Steuersignale erzeugt werden, wenn das erste Objekt über der
ersten Taste erfasst wird, und wenn gleichzeitig das zweite Objekt über der
zweiten Taste erfasst wird.
-
Bei
einer Ausführungsform
wird nur ein einziges Steuersignal erzeugt, wenn das erste Objekt über der
ersten Taste erfasst wird, und wenn gleichzeitig das zweite Objekt über der
zweiten Taste erfasst wird. Beispielhaft kann die erste Taste eine
Umschalttaste sein, und kann die zweite Taste eine Symboltaste (z.
B. Buchstaben, Zahlen) sein. Auf diese Weise wirkt die Tastatur
wie eine herkömmliche
Tastatur, d. h., dass es dem Nutzer erlaubt ist, mehrere Tasten
gleichzeitig auszuwählen,
um das Symbol zu ändern,
d. h. Kleinschrift/Großschrift.
Die Tasten können
auch der Steuerungstaste, der Alt-Taste, der Escape-Taste, der Funktionstaste
und Ähnlichem
entsprechen.
-
Bei
einer anderen Ausführungsform
wird für jede
betätigte
Taste (Tastenberührung),
die gleichzeitig erfolgt, ein Steuersignal erzeugt. Zum Beispiel können Zeichengruppen
gleichzeitig getippt werden. In manchen Fällen kann die hinter der Tastatur
ablaufende Anwendung dafür
konfiguriert sein, die Reihenfolge der Zeichen auf der Grundlage
einiger vorbestimmter Kriterien zu bestimmen. Zum Beispiel kann die
Anwendung, obwohl die Zeichen durcheinander sein können, die
richtige Reihenfolge der Zeichen auf der Grundlage von Rechtschreibung,
Verwendung, Kontext und Ähnlichem
bestimmen.
-
Obwohl
nur zwei Tasten beschrieben sind, ist anzumerken, dass zwei Tasten
keine Beschränkung darstellen
und dass mehr als zwei Tasten gleichzeitig betätigt werden können, um
ein oder mehrere Steuersignale zu erzeugen. Zum Beispiel kann eine
Control-Alt-Delete-Funktionalität
umgesetzt sein, oder es können
größere Zeichengruppen
gleichzeitig getippt werden.
-
Die 25A bis 25D veranschaulichen eine
Tastatursequenz unter Verwendung des oben beschriebenen Verfahrens.
Die 25A veranschaulicht eine Anzeige,
die ein Objekt 730 einer grafischen Nutzeroberfläche in der
Form einer Tastatur präsentiert.
Wie es in der 25B gezeigt ist, positioniert
ein Nutzer seine Finger 576 über dem Mehrpunkt-Berührungsbildschirm 520 über das
Keyboard 730, um Daten in ein Textverarbeitungsprogramm einzugeben.
Beispielhaft kann der Nutzer einen seiner Finger 576A auf
der Q-Taste platzieren, um ein klein geschriebenes „q" im Textverarbeitungsprogramm
zu erzeugen. Wie es in der 25C gezeigt ist,
platziert der Nutzer, wenn er entscheidet, dass ein Buchstabe groß geschrieben
sein soll, einen Finger 576B auf der Umschalttaste und
einen anderen Finger 576A auf dem gewünschten Buchstaben (wie es durch
die Pfeile gezeigt ist). Wie in 25D gezeigt ist,
entfernt der Nutzer einfach, um weiter in Kleinschrift zu schrieben,
seinen Finger 576B von der Umschalttaste und platziert
seinen Finger 576A über
einem gewünschten
Buchstaben (wie es durch den Pfeil angegeben ist).
-
Die
26 ist
ein Diagramm eines Betriebsverfahrens
750 für eine grafische
Nutzeroberfläche. Das
Verfahren
750 ist dafür
ausgelegt, ein Bildlaufrad zu simulieren, wie diejenigen, die in
den
US-Patentveröffentlichungen
Nr.: 2003/0076303A1 ,
2003/0076301A1 ,
2003/0095096A1 beschrieben sind,
wobei alle hiermit per Verweis in die Offenbarung aufgenommen werden.
Das Verfahren beginnt allgemein beim Kasten
752, wo ein
virtuelles Bildlaufrad auf der Anzeige präsentiert wird. In manchen Fällen kann
das virtuelle Bildlaufrad in seiner Mitte einen virtuellen Knopf
umfassen. Das virtuelle Bildlaufrad ist für die Umsetzung eines Bildlaufs,
wie z. B. durch eine Liste, konfiguriert, und der Knopf ist zur
Umsetzung von Auswahlen, wie z. B. in der Liste abgelegter Elemente,
konfiguriert. Im Anschluss an den Kasten
752 fährt das
Verfahren mit dem Kasten
754 fort, wo die Anwesenheit wenigstens
eines ersten Fingers, und insbesondere eines ersten und eines zweiten Fingers
(um zwischen Verfolgung und Gestikulieren zu unterscheiden) über dem
virtuellen Bildlaufrad auf einem Berührungsbildschirm erfasst wird.
Der Berührungsbildschirm
ist über
oder vor der Anzeige positioniert. Bei spielhaft kann die Anzeige
eine Flüssigkristallanzeige
(LCD) sein, und kann der Berührungsbildschirm
ein Mehrpunkt-Berührungsbildschirm sein.
Im Anschluss an den Kasten
754 fährt das Verfahren mit dem Kasten
756 fort,
wo die anfängliche Position
der Finger auf dem virtuellen Bildlaufrad festgelegt wird. Beispielhaft
kann der Winkel der Finger im Verhältnis zu einem Referenzpunkt
bestimmt werden (z. B. 12 Uhr, 6 Uhr, usw.). Im Anschluss an den
Kasten
756 fährt
das Verfahren
750 mit dem Kasten
758 fort, wo
ein Drehsignal erzeugt wird, wenn der Winkel der Finger sich im
Verhältnis
zum Bezugspunkt ändert.
In den meisten Fällen
assoziiert, verbindet oder fixiert das Absetzen der Finger die Finger
(oder den Finger) mit dem virtuellen Bildlaufrad, wenn die Finger über dem
virtuellen Bildlaufrad positioniert sind. Es ergibt sich daraus,
dass, wenn die Finger gedreht werden, das Drehsignal verwendet werden
kann, um das virtuelle Bildlaufrad in die Richtung der Fingerdrehung
(z. B. im Uhrzeigersinn, gegen den Uhrzeigersinn) zu drehen. In
den meisten Fällen
variiert das Ausmaß der
Raddrehung gemäß dem Ausmaß der Fingerdrehung,
d. h., dass, wenn die Finger sich um fünf Grad bewegen, das Rad dasselbe
tut. Weiterhin erfolgt die Drehung typischerweise im Wesentlichen
gleichzeitig mit der Bewegung der Finger. Zum Beispiel dreht sich
das Bildlaufrad gleichzeitig mit den Fingern, während sich die Finger drehen.
-
In
manchen Fällen
können
die Grundsätze der
Trägheit,
wie oben beschrieben, auf das virtuelle Bildlaufrad angewandt werden.
In solchen Fällen dreht
sich das virtuelle Bildlaufrad weiter, wenn die Finger (oder einer
der Finger) vom virtuellen Bildlaufrad abgehoben werden, und kommt
langsam über eine
virtuelle Reibung zum Halt. Alternativ oder zusätzlich kann die fortlaufende
Drehung gestoppt werden, indem die Finger (oder der entfernte Finger)
zurück
auf das Bildlaufrad platziert werden, wodurch die Drehung des virtuellen
Bildlaufrads gebremst wird.
-
Die 27A bis 27D veranschaulichen eine
Sequenz eines Bildlaufrads unter Verwendung des oben beschriebenen
Verfahrens. Die 27A veranschaulicht eine Anzeige,
die ein Bildlaufrad präsentiert.
Das Bildlaufrad kann als Teil eines Programms automatisch angezeigt
werden, oder es kann angezeigt werden, wenn eine bestimmte Geste ausgeführt wird.
Beispielhaft kann während
des Betriebs eines Musikprogramms (wie z. B. iTunes, das durch Apple
Computer, Inc. aus Cupertino, Kalifornien, hergestellt wird) das
virtuelle Bildlaufrad auf der grafische Nutzeroberfläche des
Musikprogramms erscheinen, wenn zwei Finger auf dem Berührungsbildschirm
platziert werden, anstatt eines Fingers, der typischerweise im Musikprogramm
zur Verfolgung (tracking) eingesetzt wird. In manchen Fällen erscheint das
virtuelle Bildlaufrad nur, wenn zwei Finger auf einem vorbestimmten
Bereich in der grafische Nutzeroberfläche platziert werden. Wie es
in der 27B gezeigt ist, positioniert
ein Nutzer seine Finger über
dem Mehrpunkt-Berührungsbildschirm 520 über dem
Bildlaufrad. Ab einem bestimmten Zeitpunkt sind die Finger mit dem
Bildlaufrad fixiert. Dies kann z. B. beim Absetzen erfolgen. Wie
es in der 27C gezeigt ist, wird das Bildlaufrad,
wenn die Finger im Uhrzeigersinn gedreht werden, gemäß den drehenden
Fingern im Uhrzeigersinn gedreht. Wie es in der 27D gezeigt ist, wird das virtuelle Bildlaufrad,
wenn die Finger entgegen dem Uhrzeigersinn gedreht werden, gemäß den drehenden
Fingern entgegen dem Uhrzeigersinn gedreht. Alternativ kann die
Drehung des virtuellen Bildlaufrads auch mit der linearen Bewegung
der Finger in tangentialer Weise gedreht werden.
-
Es
ist anzumerken, dass, obwohl ein Oberflächenbildlaufrad gezeigt ist,
die wesentlichen Elemente davon auf herkömmlichere Bildlaufräder angewandt
werden können,
die virtuell basiert sind. Zum Beispiel Bildlaufräder, deren
Achse parallel zum Anzeigebildschirm verläuft und welche durch den Anzeigebildschirm
hindurch hervorzustehen scheinen, wie es in der 28 gezeigt
ist. Bei dieser besonderen Umsetzung wird jedoch eine lineare Bewegung
der Finger eingesetzt, um das virtuelle Bildlaufrad zu drehen.
-
Die
verschiedenen Aspekte, Ausführungsformen,
Umsetzungen oder Merkmale der Erfindung können getrennt oder in irgendeiner
Kombination verwendet werden.
-
Die
Erfindung wird vorzugsweise durch Hardware, Software oder einer
Kombination von Hardware und Software umgesetzt. Die Software kann
auch als computerlesbarer Code auf einem computerlesbaren Medium
verkörpert
sein. Das computerlesbare Medium ist jegliche Datenspeichereinrichtung,
die Daten speichern kann, die anschließend durch ein Computersystem
ausgelesen werden können.
Beispiele von computerlesbaren Medien umfassen Nur-Lese-Speicher,
Speicher mit wahlfreiem Zugriff, CD-ROMs, DVDs, Magnetbänder, optische
Datenspeichereinrichtungen und Trägerwellen. Das computerlesbare
Medium kann auch über
netzwerkgekoppelte Computersysteme verteilt sein, so dass der computerlesbare
Code auf verteilte Weise gespeichert und ausgeführt wird.
-
Obwohl
diese Erfindung in Form von mehreren bevorzugten Ausführungsformen
beschrieben wurde, gibt es Veränderungen,
Permutierungen und Äquivalente,
die innerhalb des Rahmens dieser Erfindung fallen. Zum Beispiel,
obwohl die Erfindung in erster Linie auf Berührungsbildschirme gerichtet
wurde, ist anzumerken, dass in manchen Fällen auch Berührungsfelder
anstatt Berührungsbildschirme
eingesetzt werden können.
Es können
auch andere Typen von berührungsempfindlichen
Einrichtungen verwendet werden. Es ist auch anzumerken, dass es sehr
viele alternative Arten der Umsetzung der Verfahren und Vorrichtungen
der vorliegenden Erfindung gibt. Es ist folglich beabsichtigt, dass
die folgenden angefügten
Ansprüche
so ausgelegt werden, dass sie alle solche Änderungen, Permutierungen und Äquivalente
umfassen, wie sie innerhalb des wahren Geistes und Umfangs der vorliegenden
Erfindung fallen.