-
Gebiet der Technik
-
Die vorliegende Erfindung bezieht sich auf das Gebiet der Benutzerinterfaces, insbesondere auf die handschriftliche Eingabe von Buchstaben und Zahlen oder Gesten auf einem berührungsempfindlichen Bildschirm oder einer von einem Bildschirm separat angeordneten berührungsempfindlichen Eingabeeinheit.
-
Hintergrund
-
Moderne Kraftfahrzeuge sind mit einer Vielzahl von Benutzerinterfaces zur Bedienung der unterschiedlichsten Funktionen ausgestattet. Unter den Benutzerinterfaces finden sich in jüngster Zeit zunehmend berührungsempfindliche Bildschirme oder berührungsempfindliche Eingabeeinheiten, die in zentraler Lage gut erreichbar für den Fahrer eines Kraftfahrzeugs angebracht sind. Entsprechend sind in den modernen Kraftfahrzeugen Computersysteme vorgesehen, die dazu eingerichtet sind, die für die Bedienung des Kraftfahrzeugs oder der in dem Kraftfahrzeug verbauten Systeme erforderlichen Benutzereingaben über die berührungsempfindlichen Bildschirme oder die berührungsempfindlichen Eingabeeinheiten zu erfassen.
-
Die Computersysteme in modernen Kraftfahrzeugen sind häufig leistungsfähig genug, um mit zusätzlichen Applikationen und Programmen erweitert zu werden und zusätzliche Funktionen bereitzustellen. Diese zusätzlichen Applikationen und Programme benötigen in der Regel ebenfalls Benutzereingaben während der Ausführung.
-
Wenn die Eingabe alphanumerischer Zeichen erforderlich ist kann beispielsweise die Einblendung einer virtuellen Tastatur auf einem berührungsempfindlichen Bildschirm erfolgen. Die Eingabe alphanumerischer Zeichen kann jedoch auch über eine Handschrifterkennung erfolgen, bei der der Benutzer Buchstaben und Zahlen auf dem berührungsempfindlichen Bildschirm oder auf einer von dem Bildschirm separat angeordneten berührungsempfindlichen Eingabeeinheit, auch als Touchpad bekannt, mit einem Finger oder einem geeigneten Gegenstand schreibt.
-
Wegen der begrenzten Größe der in Kraftfahrzeugen angeordneten berührungsempfindlichen Bildschirme oder der berührungsempfindlichen Eingabeeinheiten ist eine direkte handschriftliche Eingabe alphanumerischer Zeichen in dafür vorgesehene Felder einer Eingabemaske nicht pragmatisch. Insbesondere erfordert die aus der begrenzten Größe der Bildschirme resultierende geringe Größe der Eingabefelder eine Konzentration auf die handschriftliche Eingabe der Zeichen, die mit dem sicheren Betrieb eines Kraftfahrzeugs im Straßenverkehr nicht vereinbar ist. Aus diesem Grund erfolgt die handschriftliche Eingabe alphanumerischer Zeichen üblicherweise als eine nacheinander erfolgende Eingabe einzelner Zeichen. Hierbei ist ”nacheinander” im Sinne eines zeitlichen Ablaufs gemeint. Je nach Größe des 2-dimensionalen Eingabefeldes kann die Eingabe auf diesem Feld hintereinander oder auch übereinander erfolgen.
-
Die Erkennung über eine berührungsempfindliche Eingabeeinheit oder einen berührungsempfindlichen Bildschirm handschriftlich eingegebener alphanumerischer Zeichen und Gesten kann zuverlässiger erfolgen, wenn nur eine begrenzte Auswahl von Zeichen oder Gesten zugelassen ist. Die für eine Benutzereingabe jeweils zulässigen Zeichen oder Gesten sind dabei von dem zu bedienenden System oder Programm bzw. der zu bedienenden Applikation abhängig. Innerhalb eines Programms oder einer Applikation können unterschiedliche Eingabefelder vorgesehen sein, für welche wiederum eine individuelle begrenzte Auswahl von Zeichen oder Gesten zulässig ist. Um einen angepassten Erkennungsalgorithmus für die handschriftliche Eingabe alphanumerischer Zeichen und Gesten bereitzustellen muss das zu bedienende System oder Programm bzw. die zu bedienende Applikation eine entsprechende Information an den Systemteil übergeben, der die Auswertung der handschriftlichen Eingabe übernimmt. Wenn diese Information nicht vorliegt muss ein allgemeiner Erkennungsalgorithmus verwendet werden, was zu einer weniger zuverlässigen Erkennung der handschriftlich eingegebenen Zeichen führen kann. So ist es beispielsweise sehr schwierig, zwischen der handschriftlichen Eingabe des Buchstaben „0” und der Ziffer „null” zu unterscheiden, wenn ein Eingabefeld nicht ausschließlich für Buchstaben oder ausschließlich für Zahlen vorgesehen ist, und diese Information der Handschrift-Erkennungsvorrichtung zur Verfügung steht.
-
An diesem Beispiel wird klar, dass eine Mustererkennung allein anhand der geometrischen Analyse der Trajektorien allein nicht zum Ziel führt. Hier kann nur eine Berücksichtigung des Anwendungskontextes weiterhelfen. Ferner kann auch die Kenntnis von Datenbank-Inhalten weiterhelfen, falls sich die Eingabe hierauf bezieht, oder aber auch die Kenntnis von Strukturregeln wie z. B. Regeln für den Aufbau von gültigen Telefonnummern, die von Land zu Land unterschiedlich sein können. Ansonsten kann die Handschriftenerkennung die Kontextinformation nutzen um die Handschrifteingaben unter Verwendung von mit Häufigkeitsangaben versehenen, kontextspezifischen Wörterbüchern unter Berücksichtigung von generellen statistischen Sprachinformationen wie z. B. Bigramm- und Trigramm-Häufigkeiten usw. zu verbessern.
-
Die Bereitstellung angepasster virtueller Tastaturen für bestimmte Eingabefelder ist von Tablet-Computern und Mobiltelefonen mit berührungsempfindlichen Bildschirmen bekannt. So kann beispielsweise die Platzierung des Cursors in einem Eingabefeld für eine E-Mail-Adresse dazu führen, dass die eingeblendete virtuelle Tastatur Tasten für spezielle Zeichen zeigt, die üblicherweise in E-Mail-Adressen verwendet werden, beispielsweise ein „@”-Zeichen. Wenn der Cursor in einem Eingabefeld für eine Telefonnummer platziert ist kann die eingeblendete virtuelle Tastatur aus einem Ziffernblock bestehen.
-
Die Bereitstellung angepasster virtueller Tastaturen erfolgt jedoch nur dann, wenn die jeweilige Applikation bzw. das jeweilige Programm, bei dessen Bedienung eine Eingabe erforderlich ist, der Programmroutine, die für die Einblendung der virtuellen Tastatur verantwortlich ist, eine entsprechende Information übergibt. Die Übergabe einer entsprechenden Information ist beispielsweise aus dem HTML 5-Standard bekannt (Attribut „input type”). Wenn die Applikation bzw. das Programm die erforderliche Information nicht übergibt wird eine Standardtastatur eingeblendet, bei der eventuell benötigte Zeichen nicht auf der ersten Ebene verfügbar sind, sondern erst nach einem Umschalten in eine andere Ebene der Tastatur.
-
Eine automatische Anpassung oder Auswahl von Erkennungsalgorithmen für die optische Zeichenerkennung (Optical Character Recognition, OCR) für eine begrenzte Auswahl von Zeichen ohne die Bereitstellung einer entsprechenden Information durch ein System oder Programm bzw. eine Applikation ist aus der
US 7,489,415 B2 bekannt. Bei dem bekannten System erfolgt die Einstellung anhand der Koordinaten eines Eingabeorts auf einem zuvor ausgefüllten Formular. Dabei ist für jeden Eingabeort eines jeden Formulars in dem System eine Feldtype hinterlegt.
-
Eine andere Art der automatischen Anpassung oder Auswahl von Erkennungsalgorithmen für die optische Zeichenerkennung für eine begrenzte Auswahl von Zeichen, die in unterschiedliche Felder von Formularen eingegeben sind, ist aus der
US 2014/0201102 A1 bekannt. Hierbei wird die Feldtype eines jeweiligen Eingabefelds durch optische Zeichenerkennung des Formulars bestimmt, und erst danach der handschriftlich ausgefüllte Teil des jeweiligen Felds mit dem angepassten oder ausgewählten Erkennungsalgorithmus ausgewertet.
-
Die bekannten Arten der automatischen Anpassung oder Auswahl von Erkennungsalgorithmen sind jedoch nicht für eine noch bevorstehende handschriftliche Eingabe von Zeichen oder Gesten auf einem berührungsempfindlichen Bildschirm oder einer berührungsempfindlichen Eingabeeinheit geeignet, weil hier keine optische Erfassung eines Formulars und entsprechende Auswertung von Eingabeorten oder Namen von Formularfeldern möglich ist.
-
Zusammenfassung der Erfindung
-
Technische Aufgabe
-
Es ist eine Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung zur automatischen Auswahl oder Anpassung von Erkennungsalgorithmen für eine handschriftliche Eingabe von Zeichen oder Gesten auf einem berührungsempfindlichen Bildschirm oder einer berührungsempfindlichen Eingabeeinheit anzugeben, die nicht auf von zu dem jeweiligen bedienenden System oder Programm bzw. der zu Bedienenden Applikation gelieferte Informationen zu Feldtypen angewiesen sind.
-
Technische Lösung
-
Diese Aufgabe wird gelöst durch das in Anspruch 1 angegebene Verfahren und die in Anspruch 7 angegebene Vorrichtung. Vorteilhafte Weiterentwicklungen und Ausgestaltungen des Verfahrens und der Vorrichtung sind in den jeweiligen abhängigen Ansprüchen angegeben.
-
Ein erfindungsgemäßes Verfahren zur automatischen Auswahl eines von mehreren Erkennungsalgorithmen für eine handschriftliche Eingabe von alphanumerischen Zeichen und/oder Gesten in ein auf einem Bildschirm angezeigtes, ausgewähltes Eingabefeld über eine berührungsempfindliche Eingabevorrichtung umfasst das Durchführen einer optischen Zeichenerkennung in einem Bereich des Bildschirms, der zumindest das Eingabefeld und die nähere Umgebung des Eingabefelds umfasst. Alternativ kann eine Spracherkennung für einen nach dem Anzeigen des ausgewählten Eingabefelds akustisch ausgegebenen Sprachhinweis erfolgen. Dabei kann es sinnvoll sein, die optische Zeichenerkennung oder die Spracherkennung erst nach dem Auswählen eines von mehreren Eingabefeldern auf dem Bildschirm durchzuführen.
-
Dabei sind 2 Fälle zu unterscheiden. Wenn der Sprachhinweis lokal im gleichen System erstellt wurde, sind i. A. schon geeignete Kontext Information lokal in diesem System vorhanden. In anderen Fällen, z. B. wenn der Sprachhinweis von z. B. einem Cloud-Server erhalten wird, ist ein Spracherkenner zu verwenden, der lokal oder wiederum in einem anderen Cloudserver zur Verfügung gestellt wird, um die notwendigen Kontextinformationen zu bestimmen. Alternativ zu einem Cloudserver kann auch ein geeignetes Smartphone verwendet werden, dass z. B. lokal an das System gekoppelt ist.
-
Durch die optische Zeichenerkennung werden Textbestandteile in dem Erkennungsbereich erkannt und können einer Analyse zugeführt werden, mit der nach Hinweisen auf die Art der einzugebenden Zeichen oder Gesten gesucht wird. Die Art der einzugebenden Zeichen oder Gesten ist dabei von dem Typ des Eingabefelds abhängig. Wenn in der Umgebung des Eingabefelds beispielsweise eines der Worte „Rufnummer”, „Telefonnummer”, eine entsprechende Abkürzung davon oder ein Telefonsymbol auf dem Bildschirm wiedergegeben ist, kann davon ausgegangen werden, dass Zahlen oder Ziffern in das Eingabefeld einzugeben sind. Wenn in der Umgebung des Eingabefelds Worte wie „Ort” oder „Straße” gefunden werden, kann davon ausgegangen werden, dass Buchstaben in das Eingabefeld einzugeben sind. Der Erkennungsalgorithmus bzw. ein für die Erkennung von Zahlen oder Buchstaben angepasster Parametersatz für einen Erkennungsalgorithmus für die handschriftliche Eingabe kann entsprechend ausgewählt werden. Gleiches gilt entsprechend für einen mit dem Anzeigen des Eingabefelds akustisch ausgegebenen Sprachhinweis: Wenn beim Einblenden oder Auswählen des Eingabefelds ein Sprachhinweis wie zum Beispiel „Bitte geben Sie eine Telefonnummer ein” erfolgt, kann durch Analyse des mittels Spracherkennung in Text umgesetzten Sprachhinweises darauf geschlossen werden, dass Zahlen oder Ziffern in das Eingabefeld einzugeben sind.
-
Selbstverständlich ist es möglich, bei der Analyse und Suche nach Feldtypen beschreibenden Begriffen auch Begriffe in unterschiedlichen Sprachen zu berücksichtigen. Eine Erweiterung der entsprechenden Datenbank stellt nur geringfügig höhere Anforderungen an den benötigten Speicherplatz und ist einfach zu implementieren. Es ist auch vorstellbar, bevorzugt zunächst Begriffe in der Sprache zu erkennen, die für das Mensch-Maschine-Interface von dem Benutzer ausgewählt wurde, und erst danach eine Erkennung für andere Sprachen durchzuführen.
-
Die Auswertung des Bildschirminhaltes umfasst auch die Auswertung eines sogenannten Spellers, der bei fortlaufender Eingabe von Buchstaben die nächsten Möglichkeiten vorgibt. Ein Beispiel ist die Eingabe von Städtenamen bei einer Zieleingabe bei einer Navigation, bei der nach vorheriger Eingabe eines Buchstabens der Wertevorrat für einen Folgebuchstaben oftmals erheblich eingeschränkt wird. Bei Erkennen eines Spellers wird dem Handschriftenerkenner der zulässige Wertevorrat für das nächste Schriftzeichen immer aktuell mitgeteilt. Falls vorhanden, können auch zulässige Folgen von mehreren Zeichen für die nächste Eingaben bekannt gegeben werden.
-
Bei einer Ausgestaltung der Erfindung wird für die optische Zeichenerkennung zumindest ein Bereich des Bildschirms, der zumindest das Eingabefeld und die nähere Umgebung des Eingabefelds umfasst, an eine Vorrichtung oder Programmroutine zur optischen Zeichenerkennung übertragen, die das Ergebnis der Erkennung bereitstellt. Die Übertragung kann beispielsweise direkt aus dem Grafik-Speicher einer Bildschirmansteuerungseinheit erfolgen, beispielsweise als RGB Bitmap, bei der der Bildschirminhalt oder die übertragenen Teile des Bildschirminhalts als Pixel-Darstellung vorliegen. Bei einigen Betriebssystemen sind bereits Funktionen vorgesehen, die es ermöglichen, ein Abbild des Bildschirms oder eines Fensters auf dem Bildschirm, einen sogenannten Snapshot, zu erstellen und an andere Programme oder Applikationen zu übergeben. Hierzu gehören beispielsweise Betriebssysteme, die die Grafikausgabe über einen nach dem Wayland Display Server Protocol arbeitenden Compositor durchführen. Das übertragene Abbild des Bildschirminhalts kann dann beispielsweise mit einem handelsüblichen Programm zur optischen Zeichenerkennung auf Textinhalte und die Position der Texte relativ zu dem Eingabefeld auf dem Bildschirm untersucht werden. Zu den Texten und gegebenenfalls zu deren Position sind dann in einer Datenbank Verweise auf den Feldtyp bzw. die Art der Texteingabe abgelegt. Die Größe des das Eingabefeld einschließenden Bereichs kann dabei vorgegeben oder von einem Benutzer einstellbar sein. Es ist auch vorstellbar, dass der Benutzer das Eingabefeld zur Auswahl auf einem berührungsempfindlichen Bildschirm mit dem Finger oder einem geeigneten Gegenstand umkreist und dadurch den Bereich festlegt.
-
Bei einer anderen Ausgestaltung der Erfindung wird für die auf den akustischen Sprachhinweis folgende Spracherkennung entweder ein über Lautsprecher ausgegebenes analoges elektrisches Signal, ein entsprechend vorliegendes digitales elektrisches Signal oder ein Steuersignal für eine Text-zu-Sprache Ausgabeeinheit an eine Vorrichtung oder eine Programmroutine zur Spracherkennung geleitet, die das Ergebnis der Erkennung bereitstellt. Bei dieser Ausgestaltung der Erfindung kann ein in einem Fahrzeug ohnehin zur Erkennung von Sprachbefehlen vorhandenes Spracherkennungssystem in vorteilhafter Weise genutzt werden.
-
Falls nicht von dem betroffenen Anwendungsprogramm ein sogenannter Speller vorgegeben wird, dessen jeweilige aktuelle Ausgabe durch Analyse des aktuellen Bildschirminhalts usw. erfasst wird, kann die Handschrifteingabe unter Berücksichtigung des aktuellsten Eingabekontextes auch
- – anhand von Datenbankinhalten,
- – anhand von Strukturregeln gesteuert werden. Dabei kann der Zugriff auf die entsprechen
den Datenbankinhalten, z. B. auf die abgespeicherten Städte, unabhängig von den damit verbundenen Applikationen, z. B. von der Navigation, direkt z. B. lokal erfolgen. Es ist aber auch möglich, solche Datenbankinhalten von extern, z. B. von einem gekoppelten Smartphone oder einem über Internet verbundenen Cloudserver zu erhalten. Genauso können Strukturregeln lokal im System vorhanden, oder von extern, etwa einem Smartphone oder Cloudserver abgefragt werden. Es können dem Handschriftenerkenner jeweils der für die nächste Eingabe zulässige Wertebereich der Zeichen als auch die nächsten zulässigen Zeichenfolgen bzgl. der Eingabe bekannt gegeben werden.
-
Eine Vorrichtung zur automatischen Auswahl eines von mehreren Erkennungsalgorithmen oder Parametersätzen für eine handschriftliche Eingabe von alphanumerischen Zeichen und/oder Gesten in ein auf einem Bildschirm angezeigtes, ausgewähltes Eingabefeld über eine berührungsempfindliche Eingabevorrichtung umfasst erste Mittel, die dazu eingerichtet sind, eine optische Zeichenerkennung in einem Bereich des Bildschirms, der zumindest das Eingabefeld und die nähere Umgebung des Eingabefelds einschließt, durchzuführen. Alternativ können die ersten Mittel dazu eingerichtet sein, eine Spracherkennung für einen nach dem Anzeigen des ausgewählten Eingabefelds akustisch ausgegebenen Sprachhinweis durchzuführen. Die Vorrichtung umfasst darüber hinaus zweite Mittel, die dazu eingerichtet sind, nach Feldtypen beschreibenden Begriffen in dem Ergebnis der optischen Zeichenerkennung oder der Spracherkennung zu suchen. Schließlich umfasst die Vorrichtung dritte Mittel, die dazu eingerichtet sind, einen für einen in dem Ergebnis der optischen Zeichenerkennung oder der Spracherkennung aufgefundenen Feldtyp angepassten Erkennungsalgorithmus oder Parametersatz für den Erkennungsalgorithmus auszuwählen.
-
Optional wird ein viertes Mittel bereitgestellt, das die Handschrifteingabe Zeichen für Zeichen unter Berücksichtigung des Eingabekontextes führt. Diese Führung ergibt sich in drei Ausprägungen:
- – es wird die Bildschirmausgabe des von der die Eingabe erwartenden Applikation bereitgestellte sog. ”Spellers” durch Analyse des jeweils aktuellsten Bildschirminhaltes verwendet,
- – es wird abhängig vom Eingabekontextes undabhängig von der betroffenen Applikation auf die betroffenen Datenbankinhalte zugriffen und selber die Funktionalität” eines ”Spellers” bereitgestellt, wobei ein Zugriff auf eine lokale im System vorhandenen Datenbank wie auch auf eine entfernte, z. B. in einem gekoppelten Smartphone oder in einem über Internet zu erreichenden Cloud-Server erfolgen kann,
- – es wird abhängig vom Eingabekontext eine Strukturregel verwendet, die entweder lokal im System oder entfernt etwa in einem gekoppelten Smartphone oder einem über Internet verbundenen Cloudserver abgefragt werden kann.
-
Bei einer Ausgestaltung der Vorrichtung weisen eines oder mehrere der ersten, zweiten, dritten und/oder optionalen vierten Mittel einen oder mehrere Mikroprozessoren und mit den einen oder mehreren Mikroprozessoren in kommunikativer Verbindung stehenden Arbeitsspeicher und nicht-flüchtigen Speicher auf. Die jeweiligen nicht-flüchtigen Speicher speichern Computer-Programminstruktionen welche, wenn sie von den ein oder mehreren Mikroprozessoren in den jeweiligen Arbeitsspeicher geladen und ausgeführt werden, die Ausführung von Teilen des Verfahrens bewirken. Die ersten, zweiten und dritten Mittel zusammengenommen führen schließlich alle Schritte des Verfahrens aus.
-
Bei einer Ausgestaltung der Vorrichtung sind der Bildschirm, die ersten, zweiten, dritten und/oder optionalen vierten Mittel räumlich voneinander getrennt angeordnet und mittels eines oder mehrerer Kommunikationsnetze miteinander verbunden. Die Kommunikation zwischen den einzelnen Komponenten der Vorrichtung kann auf herkömmliche Weise über die ein oder mehreren Kommunikationsnetze erfolgen. Der Bildschirm ist signalmäßig mit einer Ansteuerelektronik verbunden. Der Bildschirm kann beispielsweise ein für eine Navigationseinrichtung vorgesehener Bildschirm sein, der im Armaturenbrett des Kraftfahrzeugs angeordnet ist, oder ein sogenanntes Head-Up Display, bei dem der Bildschirminhalt im Sichtbereich des Fahrers auf die Windschutzscheibe oder ein davor angeordnetes transparentes Projektionsmedium projiziert wird. Das schließt auch eine holographische Ausgabe mit ein, die z. B. vor der Windschutzscheibe platziert wird.
-
Eine berührungsempfindliche Eingabevorrichtung, welche mit dem erfindungsgemäßen Verfahren verwendet werden kann bzw. welche mit der erfindungsgemäßen Vorrichtung verbunden sein kann umfasst ein separat von einem Bildschirm angeordnetes Touchpad oder einen entsprechend markierten Bereich auf einem berührungsempfindlichen Bildschirm.
-
Unterschiedliche Ausgestaltungen, die aus Gründen der Klarheit vorstehend isoliert beschrieben wurden, sind miteinander kombinierbar, beispielsweise um eine zuverlässigere Erkennung von Feldtypen zu erreichen.
-
Das vorliegende erfindungsgemäße Verfahren und die erfindungsgemäße Vorrichtung können in vorteilhafter Weise in einem Kraftfahrzeug genutzt werden, jedoch ist auch eine Anwendung in anderen Bereichen der Technik denkbar, in denen eine Eingabe von Zeichen und/oder Gesten handschriftlich erfolgt. Die Auswahl von angepassten Erkennungsalgorithmen oder angepasster Parameter für einen Erkennungsalgorithmus verbessert die handschriftliche Eingabe von alphanumerischen Zeichen und Gesten und verringert insbesondere während des Betriebs eines Kraftfahrzeugs die Wahrscheinlichkeit, dass bei der Eingabe Korrekturen vorgenommen werden müssen. Dadurch wird insgesamt die Ablenkung des Fahrers vom Verkehrsgeschehen reduziert.
-
Im Folgenden wird die Erfindung anhand der Figuren der Zeichnung beschrieben. In der Zeichnung zeigt
-
1 eine schematische Darstellung eines Armaturenbretts in einem Kraftfahrzeug;
-
2 eine schematische Darstellung eines Bildschirms zur Erläuterung des erfindungsgemäßen Verfahrens;
-
3 ein schematisches Flussdiagramm des erfindungsgemäßen Verfahrens und
-
4 eine schematische Darstellung eines Blockdiagramms einer erfindungsgemäßen Vorrichtung.
-
In den Figuren sind gleiche oder ähnliche Elemente mit denselben Referenzzeichen bezeichnet.
-
1 zeigt eine schematische Darstellung eines Armaturenbretts 100 in einem Kraftfahrzeug. Hinter einem Lenkrad 104 ist ein Instrumentencluster 106 angeordnet. Im Bereich einer Mittelkonsole 108 ist ein Bildschirm 110 angeordnet, sowie ein berührungsempfindliches Touchpad 116. Außerdem ist auf einer Windschutzscheibe 112 ein Bereich dargestellt, in den ein Head-up Display 114 Informationen eingeblendet. Der Instrumentencluster 106 kann, ebenso wie der Bildschirm 110 und das Head-up Display 114, ein grafikfähiges Matrixdisplay umfassen, also ein Display, welches komplexe grafische Strukturen mittels entsprechender Ansteuerung einzelner Bildpunkte darstellt. Das heißt, Eingabefelder für Benutzereingaben können auf jeder der Anzeigevorrichtungen eingeblendet sein. Unabhängig davon, auf welcher Anzeigevorrichtung ein Eingabefeld eingeblendet ist, kann ein Benutzer eine handschriftliche Eingabe über das berührungsempfindliche Touchpad 116 oder über einen entsprechend markierten Bereich auf dem Bildschirm 110 vornehmen. Nicht in der Figur gezeigt sind eine optionale holographische Darstellung visueller Inhalte sowie eine optionale Verbindung zu z. B. einem gekoppelten Smartphone oder zu einem Cloudserver über eine Internetverbindung.
-
2 zeigt die schematische Darstellung des Bildschirms 110 aus 1 zur Erläuterung des erfindungsgemäßen Verfahrens. Die Ausgangslage ist die, dass ein Benutzer eine Telefonnummer in ein dafür vorgesehenes Eingabefeld 202 eingeben möchte. Ihm stehen dafür mehrere Optionen zur Verfügung. Der Benutzer kann die Ziffern durch Berühren der entsprechenden virtuellen Zifferntasten des auf dem Bildschirm 110 dargestellten Ziffernblocks 204 eingeben. Es ist dazu anzumerken, dass der Bildschirm 110 ein berührungsempfindlicher Bildschirm ist. Alternativ kann der Benutzer die Ziffern über das Touchpad 116 oder über den ein Touchpad darstellenden markierten Bereich 216 auf dem berührungsempfindlichen Bildschirm 110 eingeben, wobei die Eingabe mittels Handschrifterkennung in eine Ziffer umgesetzt wird. In der 2 hat der Benutzer bereits die ersten drei Ziffern der Telefonnummer, „0”, „1” und „2”, eingegeben und ist gerade fertig damit, die vierte Ziffer, „3”, einzugeben. Der Benutzer hat dazu die Ziffer „3” mit dem Finger oder einem anderen geeigneten Eingabegerät auf dem Touchpad 116 (nicht dargestellt) oder auf dem entsprechenden Bereich 216 des berührungsempfindlichen Bildschirms 110 gezeichnet. In der Figur ist die zuletzt eingegebene Ziffer leicht vergrößert gegenüber den zuvor eingegebenen Ziffern dargestellt. Dies kann dazu genutzt werden, um den Abschluss der Erkennung anzuzeigen. Um den Erkennungsalgorithmus für die Handschrifterkennung für die Eingabe von Ziffern anzupassen wurden um das Eingabefeld 202 liegende Bereiche des Bildschirms 110 einer optischen Zeichenerkennung unterworfen. Beispielsweise wird ein erster Bereich 206 nach einer optischen Zeichenerkennung auf Begriffe untersucht, die auf die Art der in das Eingabefeld 202 einzugebenden Zeichen oder Gesten schließen lassen. Der erste Bereich 206 ist durch die strichpunktierte Linie angedeutet. In diesem Fall ist in dem ersten Bereich 206 links neben dem Eingabefeld 202 der Begriff „Rufnummer” dargestellt. Durch einen Vergleich mit entsprechenden Begriffen in einer Datenbank kann gefolgert werden, dass nur eine begrenzte Auswahl an alphanumerischen Zeichen eingegeben werden können. Für eine Telefonnummer sind dies beispielsweise die Ziffern 0–9, die Sterntaste und die Rautetaste. In der Figur ist ein zweiter, das Eingabefeld einschließender Bereich 208 dargestellt, der größer ist als der erste Bereich 206. Der zweite Bereich 208 ist durch die gestrichelte Linie angedeutet. Eine in diesem Bereich ausgeführte optische Zeichenerkennung erkennt zusätzlich zu dem Begriff „Rufnummer” noch den Begriff „Telefon”, der ebenfalls auf die Art der einzugebenden alphanumerischen Zeichen schließen lässt. Das Vorkommen zweier die in das Eingabefeld einzugebenden Zeichen beschreibender Begriffe in dem zweiten Bereich 208 kann die Bestimmung des Typs des Eingabefelds und damit die letztlich Erkennung der in das Eingabefeld einzugebenden Zeichen verbessern.
-
3 zeigt ein schematisches Flussdiagramm des erfindungsgemäßen Verfahrens 300. In Schritt 302 wird eine Zeichenerkennung oder eine Spracherkennung zumindest eines Bereichs des Bildschirms durchgeführt, der ein ausgewähltes oder aktives Eingabefeld einschließt. Das Ergebnis der Zeichenerkennung oder Spracherkennung wird in Schritt 304 zur Bestimmung eines Typs des Eingabefelds verwendet. Im optionalen Schritt 308 wird abhängig vom Typ des Eingabefeldes nach einem sog. Speller im Bildschirminhalt gesucht oder direkt, lokal oder remote, eine Leseverbindung zu einer Datenbank des betroffenen Typs aufgebaut, falls möglich. Alternativ wird lokal oder remote nach möglichen Strukturregeln für die Eingabe gesucht. In Abhängigkeit von dem Ergebnis der Bestimmung des Typs des Eingabefelds wird ein angepasster Erkennungsalgorithmus für die Handschrifterkennung oder ein angepasster Parametersatz für den Erkennungsalgorithmus ausgewählt. Die Auswahl des Bereichs und die Übergabe des durch die optische Zeichenerkennung auszuwertenden Bereichs an die Zeichenerkennungsfunktion oder -vorrichtung sind in der Figur nicht dargestellt.
-
4 zeigt eine schematische Darstellung eines Blockdiagramms einer erfindungsgemäßen Vorrichtung. Erste Mittel 400, die dazu eingerichtet sind, eine optische Zeichenerkennung in einem Bereich des Bildschirms, der zumindest das Eingabefeld und die nähere Umgebung des Eingabefelds umfasst, durchzuführen sind mit zweiten Mitteln 402, die dazu eingerichtet sind, nach Feldtypen beschreibenden Begriffen in dem Ergebnis der optischen Zeichenerkennung zu suchen, über ein oder mehrere Datenbusse 410 kommunikativ miteinander verbunden. Anstelle oder zusätzlich zu den ersten Mitteln 400 für die optische Zeichenerkennung können weitere erste Mittel 404 vorgesehen sein, die dazu eingerichtet sind, eine Spracherkennung für einen nach dem Anzeigen des Eingabefelds akustisch ausgegebenen Sprachhinweis durchzuführen. Die weiteren ersten Mittel 404 sind mit den zweiten Mitteln ebenfalls über den oder die ein oder mehreren Datenbusse 410 kommunikativ verbunden. Ein oder mehrere Bildschirme 406 sind ebenfalls über den oder die ein oder mehreren Datenbusse 410 zumindest mit den ersten Mitteln 400 kommunikativ verbunden, um den ersten Mitteln 400 Zugriff auf den Bereich des Bildschirms, der zumindest das Eingabefeld und die nähere Umgebung des Eingabefelds umfasst, zu ermöglichen, bzw. die Bildinformation an die ersten Mittel 400 zu übertragen. Schließlich sind dritte Mittel 408 über den oder die ein oder mehreren Datenbusse 410 zumindest mit den zweiten Mitteln 402 kommunikativ verbunden, um anhand der von den zweiten Mitteln gefundenen, Feldtypen beschreibenden Begriffen einen für die handschriftliche Eingabe von alphanumerischen Zeichen und/oder Gesten angepassten Erkennungsalgorithmus oder einen angepassten Parametersatz für den Erkennungsalgorithmus auszuwählen. Die dritten Mittel umfassen beispielsweise eine Datenbank und eine Vorrichtung oder ein Computerprogramm, das die mit der Zeichen- oder Spracherkennung gefundenen Begriffe mit in der Datenbank gespeicherten Begriffen vergleicht und im Falle eines Treffers einen entsprechenden, für einen Feldtyp angepassten Erkennungsalgorithmus bzw. einen angepassten Parametersatz für den Erkennungsalgorithmus auswählt.
-
Optional können noch Mittel 412 vorhanden sein, die die Eingabe bzgl. einer Datenbank unter Berücksichtigung schon vorhandener Inhalte dynamisch durch Einschränkung der noch zu erwartenden Eingaben steuern. Dies kann bspw. unter Verwendung von schon von der entsprechenden Applikation vorgesehener ”Speller” Funktionalitäten erfolgen, alternativ auch per direktem Zugriff auf die entsprechende Datenbasis, lokal oder remote, erfolgen, oder es werden Strukturregeln für die Eingabe lokal oder remote abgefragt. Diese Strukturregeln können z. B. länderabhängig sein. Dieser Schritt dient zum Bestimmung eines erweiterten Parametersatzes für den Erkennungsalgorithmus.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 7489415 B2 [0010]
- US 2014/0201102 A1 [0011]
