DE112022002985T5 - Verfahren, system und computerprogramm zur berührungsstabilisierung - Google Patents

Verfahren, system und computerprogramm zur berührungsstabilisierung Download PDF

Info

Publication number
DE112022002985T5
DE112022002985T5 DE112022002985.4T DE112022002985T DE112022002985T5 DE 112022002985 T5 DE112022002985 T5 DE 112022002985T5 DE 112022002985 T DE112022002985 T DE 112022002985T DE 112022002985 T5 DE112022002985 T5 DE 112022002985T5
Authority
DE
Germany
Prior art keywords
user
touchscreen
focus
finger
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112022002985.4T
Other languages
English (en)
Inventor
Etienne Iliffe-Moon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of DE112022002985T5 publication Critical patent/DE112022002985T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B60K2360/1442—Emulation of input devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/199—Information management for avoiding maloperation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Ausführungsformen betreffen ein Verfahren, eine Einrichtung und ein Computerprogramm zur Stabilisierung einer Interaktion eines Benutzers mit einem Touchscreen in einem Fahrzeug. Das Verfahren umfasst das Befüllen einer Oberfläche der Touchscreen-Anzeige mit einer Vielzahl von Elementen. Jedes Element der Vielzahl umfasst einen aktiven Bereich zum Registrieren einer Berührungsinteraktion durch den Benutzer. Das Verfahren umfasst ferner das Bestimmen eines Fokusbereichs des Benutzers auf der Oberfläche und das Vergleichen des Fokusbereichs mit den aktiven Bereichen der Vielzahl von Elementen, um einen fokussierten Satz zu bestimmen, der mindestens ein Element umfasst, das eine Auswahlschwelle überschreitet. Das Verfahren wird fortgesetzt mit dem Anpassen der aktiven Bereiche der Vielzahl von Elementen, um die wahrscheinliche Auswahlschwelle mindestens eines Elements in dem fokussierten Satz zu reduzieren.

Description

  • Gebiet
  • Ausführungsformen betreffen ein Verfahren, eine Einrichtung und ein Computerprogramm zur Stabilisierung einer Interaktion eines Benutzers mit einem Touchscreen in einem Fahrzeug.
  • Hintergrund
  • Fahrzeuge sind zunehmend mit weniger physischen Steuerungen ausgestattet, während mehr berührungsgestützte oder alleinig durch Berührung bediente Schnittstellen in ihren Fahrgasträumen einbezogen werden. In bestimmten Fahrzeugsitzkonfigurationen (z. B. Schwerelosigkeits- oder Liegesitze) kann eine Touchscreen-Schnittstelle gegenüber physischen Schnittstellen bevorzugt sein. Herkömmliche Touchscreens in dynamischen Kraftfahrzeuganwendungen stellen jedoch möglicherweise kein Verfahren zum Stabilisieren eines Fingers oder einer Hand eines Benutzers bereit, wenn er mit dem Touchscreen interagiert. Dies führt zu Sicherheitsproblemen, wenn der Benutzer fährt, da der Benutzer möglicherweise seinen Fokus zwischen der Straße und einer digitalen Anzeige aufteilt. Ferner wird der Mangel an Handstabilität durch das Innendesign und das Cockpit-Layout von Fahrzeugen, die einen Touchscreen auf Armeslänge entfernt oder weiter weg vom Benutzer platzieren, im Vergleich zu Nicht-Fahrzeugumgebungen verstärkt. Daher kann es einen Wunsch für verbesserte Verfahren und Einrichtungen zur Stabilisierung einer Interaktion eines Benutzers mit einem Touchscreen in einem Fahrzeug geben.
  • Kurzdarstellung
  • Ausführungsformen betreffen ein Verfahren, ein System und ein Computerprogramm zur Stabilisierung einer Interaktion eines Benutzers mit einem Touchscreen in einem Fahrzeug. Gemäß einer Ausführungsform umfasst ein Verfahren zum Stabilisieren einer Interaktion eines Benutzers mit einem Touchscreen das Befüllen einer Oberfläche der Touchscreen-Anzeige mit einer Vielzahl von Elementen. Jedes Element der Vielzahl umfasst einen aktiven Bereich zum Registrieren einer Berührungsinteraktion durch den Benutzer. Das Verfahren bestimmt ferner einen Fokusbereich des Benutzers auf der Oberfläche und vergleicht den Fokusbereich mit den aktiven Bereichen der Vielzahl von Elementen, um einen fokussierten Satz von Oberflächenelementen zu bestimmen. Der fokussierte Satz umfasst mindestens ein Element, das eine wahrscheinliche Auswahlschwelle überschreitet. Das Verfahren passt die aktiven Bereiche der Vielzahl von Elementen an, um die Auswahlschwelle mindestens eines Elements in dem fokussierten Satz zu reduzieren und somit die Auswahlwahrscheinlichkeit zu erhöhen.
  • Ausführungsformen des Verfahrens verwenden einen Blick, um den Zielbereich oder aktiven Bereich von Tasten, Symbolen, interaktiven Elementen oder anderen Merkmalen der grafischen Benutzeroberfläche (GUI) zu erhöhen, auf den das Auge fokussiert ist. Dies ermöglicht Raum oder Spielraum für eine erhöhte Ungenauigkeit (d. h. Fehlberührung) durch den Finger des Benutzers. Das Ziel besteht darin, die GUI für eine ungenaue Berührung in dynamischen Umgebungen, wie etwa einem bewegten Fahrzeug, anzupassen. Andere Zielsetzungen beinhalten das Erhöhen der Berührungsgenauigkeit und des Berührungserfolgs, das Reduzieren der Ablenkung des Fahrers von der Straße und das Erhöhen der Konfidenz des Benutzers und der Wahrnehmung der Verwendungsfreundlichkeit. Das Verfahren stabilisiert eine Auswahl des Benutzers durch das Vorhersagen, welche Elemente er wahrscheinlich auswählen wird, und das Erhöhen ihrer Auswahlwahrscheinlichkeit. Beispielsweise könnte in Betracht gezogen werden, dass eine Blickverfolgung etwa wie eine Taschenlampe oder ein Vergrößerungsglas agiert, die/das die Größe des aktiven Bereichs oder der Zielzone für GUI-Tasten erhöht, während sich der Blick über die GUI bewegt. Die Größenzunahme der Zielzone kann für den Benutzer nicht sichtbar oder sichtbar sein.
  • Ein Fahrzeug kann ein Land-, See- oder Luftfahrzeug sein. Es kann eine beliebige Einrichtung beinhalten, die für den Transport verwendet wird. Zusätzlich sind das Verfahren, das System und das Computerprogramm fahrzeugunabhängig und können in Umgebungen und Systemen eingesetzt werden, die nicht für den Transport verwendet werden oder dafür ausgebildet sind, wie etwa in einem Haus, einer Einzelhandelsumgebung, öffentlichen Plätzen, einem Büro.
  • Ein Touchscreen kann eine digitale Anzeige mit kapazitiven oder ähnlichen Berührungseigenschaften sein. Die Anzeige kann eine Elektrolumineszenz- (ELD), Flüssigkristall- (LCD), Leuchtdioden- (LED), Dünnfilmtransistor-, organische LED- (OLED), Aktivmatrix-OLED- (AMOLED), Plasma- (PDP), Quantenpunkt- (OLED), Kathodenstrahlröhren- oder Segment-Anzeige sein. Die Anzeige kann zusätzliche Eigenschaften aufweisen, wie etwa Präsenzdetektion, Akustik oder Infrarot-Touchscreen-Eigenschaften.
  • Das Verfahren kann bei berührungsempfindlichen Oberflächen angewendet werden, die keine Anzeigen sind (z. B. kapazitive oder resistive empfindliche Oberflächen, die darunter keine pixelbasierte Anzeige aufweisen). In einem Fahrzeug kann dies eine berührungsempfindliche Konsole sein, die permanente, häufig verwendete Tasten wie jene der Klimaanlagensysteme oder Türverriegelungen anzeigen. Diese berührungsempfindlichen Oberflächen können alleine oder entfernt in Verbindung mit einer Nicht-Berührungsanzeige oder Touchscreen-Anzeige arbeiten. Dieses Verfahren kann auch bei einer projizierten Anzeige mit Berührungs- oder Gesteninteraktion angewendet werden (z. B. wird eine GUI auf eine Oberfläche in der Umgebung oder den Körper/die Hand des Benutzers projiziert).
  • Elemente der Touchscreen-Oberfläche beliebige digitale Medien sein, bei denen es sich um ein statisches oder bewegtes Bild handelt (z. B. GUI, gerendertes 3D-Objekt, Bewegungsgrafikanimation, fotografisches Bild, Film usw.). Ein aktiver Bereich, manchmal als ein Zielbereich bezeichnet, kann eine Eigenschaft eines Oberflächenelements sein, die eine Interaktion mit dem Element ermöglicht. Es ist der Bereich oder das Gebiet auf oder rund um ein GUI-Element (z. B. Taste, Symbol, Merkmal), der/das bei Berührung bewirkt, dass das GUI-Element aktiviert wird (z. B. die Taste/das Symbol angeklickt wird). Der aktive Bereich ist manchmal mit der visuellen Form des Elements, wie es auf dem Bildschirm erscheint, identisch, aber ist von seinem visuellen Erscheinungsbild unabhängig. Beispielsweise umfassen viele unregelmäßig geformte Oberflächenelemente einen rechteckigen aktiven Bereich, der eine einfache Interaktion ermöglicht. Wenn somit ein Benutzer versucht, ein unregelmäßiges Element auszuwählen, muss er nicht innerhalb der visuellen Grenzen des Elements berühren, sondern kann stattdessen das Element auswählen, indem er seinen größeren und praktischeren aktiven Bereich berührt. Der Zielbereich oder aktive Bereich ist häufig vom Benutzer verborgen; sein Vorhandensein kann jedoch auf verschiedene Weisen angegeben werden. Beispielsweise kann ein aktiver Bereich hervorgehoben werden, während sich der Finger des Benutzers dem Element oder Bildschirm nähert. Oder die aktiven Bereiche können dem Benutzer visuell zum Beispiel über eine subtile visuelle Angabe oder mit einer kurzen Animation gezeigt werden.
  • Benutzer von herkömmlichen Touchscreens in Fahrzeugen teilen ihren Fokus häufig zwischen der Straße und dem Bildschirm auf, während sie einer sich verändernden Umgebung mit Straßenvibrationen und Momentumänderungen ausgesetzt sind. Dies führt häufig zu einem stoßartigen Verhalten, wenn der Benutzer erfolglos wiederholt nach dem von ihm gewünschten Oberflächenelement sucht. Durch das Stabilisieren der Berührungsinteraktion des Benutzers kann der Benutzer eine sicherere und produktivere Erfahrung haben, da sein Fokus für einen kürzeren Zeitraum geteilt ist und seine Auswahl wahrscheinlicher gewählt wird. Zusätzlich kann das Stabilisieren der Berührungsinteraktion des Benutzers Benutzern mit unsicheren Händen oder Personen mit Sehbehinderung helfen, indem es leichter gemacht wird, Benutzeroberflächenelemente auszuwählen.
  • Herkömmliche technologische Lösungen für die Stabilisierung beinhalten das Verwenden von Force-Touch-Touchscreen-Technologie (z. B. wenn der Benutzer mit seinem Finger drückt, das Ziel findet, hält, dann den Finger zur Auswahl loslässt) oder das physische Verwenden des Touchscreens, um den Finger zu stabilisieren, bevor die UI-Zieltaste „angepeilt“ wird. Diese herkömmlichen Lösungen erfordern jedoch einen Moment der Augenfixierung oder Verweilzeit, der zu weiteren Problemen mit geteiltem Fokus und Auswahlverzögerung führt. Andere Lösungen, wie etwa das Verwenden einer Bestätigungsaufforderung oder eine physische Annahmetaste (z. B. auf dem Lenkrad) haben ähnliche Probleme und sind nicht sofort intuitiv. Zusätzlich kann das Verwenden einer anderen Modalität zum Eliminieren der Notwendigkeit, mit dem Touchscreen zu interagieren, wie etwa Sprachinteraktion, die kognitive Belastung des Benutzers erhöhen, da er sich nun an Menüoptionen und eine richtige Ausdrucksweise erinnern muss. Vom Benutzer kann auch gefordert werden, dass er die Umgebung seines Fahrzeugs ändert, wie etwa das Leiserstellen von Musik oder Hochkurbeln von Fenstern, um den Erfolg der neuen Modalität zu erhöhen. Daher können das Vorhersagen, wo die Auswahl eines Benutzers stattfinden wird, und das Aktivieren der Auswahl nach einem Kontakt (oder kurz danach) mit dem Touchscreen ermöglichen, dass eine Stabilisierung erreicht wird, während die Fokuszeit und die Auswahlverzögerung im Vergleich zu herkömmlichen Lösungen reduziert werden. Die offenbarten Ausführungsformen dienen dazu, diesen Interaktionsprozess zu „glätten“, indem Benutzerverfolgungstechnologie verwendet wird, wie etwa Augenverfolgung (d. h. Blickverfolgung) oder Fingerverfolgung.
  • Herkömmliche Lösungen, die Augenverfolgungstechnologie verwenden, können erfordern, dass der Benutzer eine separate Vorrichtung, wie etwa eine Fernbedienung, manipuliert, um Elemente auf dem Bildschirm auszuwählen. Hier kann die Augenverfolgung oder der Blick stattdessen als eine Unterstützung für die Fernbedienung verwendet werden. Eine Fernsteuerung kann einen aktivierten Zustand (z. B. wenn die Vorrichtung in der Hand gehalten oder berührt wird) und einen aktiven Zustand (z. B. Touchscreen empfängt eine Berührungseingabe) aufweisen. In diesen Lösungen liefert der Blick einen sekundären Einfluss, wenn die Fernsteuerung zum Navigieren der GUI-Elemente verwendet wird. Möglicherweise wird eine haptische Rückmeldung bereitgestellt, um zu beeinflussen, wie die Fernbedienung manipuliert wird. Diese Lösungen sind jedoch möglicherweise nicht für eine Fahrzeugumgebung geeignet, da eine andauernde Manipulation einer Fernbedienung oder die Erfahrung einer haptischen Rückmeldung einen Fahrer ablenken und seine Aufmerksamkeit von der Straße fernhalten kann. Im Allgemeinen sollte in einer Fahrzeugumgebung die gesamte Rückmeldung darin bestehen, eine erfolgreiche Interaktion zu bestätigen.
  • In den Hauptausführungsformen kann Augenverfolgung die primäre Modifikation oder Anpassung der aktiven Bereiche für jedes GUI-Element sein. Die Berührungseingabe des Benutzers kann für die Modifikation sekundär sein und sollte nicht den Blick überschreiben. Der Blick des Benutzers kann den aktiven Bereich der GUI-Taste oder eines anderen Elements vergrößern, auf die bzw. das das Auge fokussiert ist. Nur wenn der Benutzer nicht auf die Anzeige schaut (d. h. blinde Berührung durch den Benutzer), wird der Blick überschrieben oder verworfen. Bei einer blinden Berührungssituation berührt der Benutzer die Anzeige, ohne sie anzuschauen, oder berührt sie und schaut dann auf die Anzeige. Dieses Verfahren kommt dieser Möglichkeit entgegen, da die GUI mit ihrer standardmäßigen Berührungszoneneinstellung arbeiten wird (z. B. die aktiven Bereiche stimmen mit der Größe der GUI-Taste oder des Elements überein).
  • Das Verfahren kann ferner einen physischen Bereich bestimmen, der der Interaktion des Benutzers mit dem Touchscreen entspricht, und ein Berührungsziel bestimmen, indem der physische Bereich mit den aktiven Bereichen des fokussierten Satzes verglichen wird. Das Verfahren kann dann eines der Vielzahl von Elementen basierend auf dem Berührungsziel auswählen. Durch das Einbeziehen der physischen Interaktion des Benutzers mit dem Touchscreen können Fehlerkorrektur und eine genauere Stabilisierung ausgeführt werden, und die Konfidenz kann erhöht werden. Ein physischer Bereich kann so klein wie ein Punkt sein, der den Kontaktpunkt des Benutzers mit einem Bildschirm repräsentiert. Er kann auch größer sein, zum Beispiel einen breiteren Kontaktbereich zu dem Zeitpunkt des Kontakts (d. h. die Breite einer Fingerspitze) repräsentierend oder eine Reihe von Kontaktpunkten repräsentierend, die kurz nach dem Kontakt gemacht werden (d. h. der Pfad oder Bereich eines Fingers, der über den Bildschirm gezogen wird). Im letztgenannten Fall kann ein Benutzer seinen Finger absichtlich über den Bildschirm als ein Korrekturmechanismus ziehen, durch Verwenden des Touchscreens, um seinen Finger abzustützen. Es kann auch unbeabsichtigt sein, aufgrund einer Änderung des Momentums oder der Fahrqualität in einem Fahrzeug. Das Verfahren kann diese Faktoren berücksichtigen und die Größe des physischen Bereichs basierend auf externen Faktoren modifizieren, wodurch es nachsichtiger ist (z. B. die Größe des physischen Bereichs vergrößern), wenn eine rauere Fahrt detektiert wird. Oder das Verfahren kann den letzten Punkt in einer Reihe oder einem Pfad als den physischen Bereich wählen, falls der Benutzer seinen Finger über den Bildschirm zieht, wodurch eine Distanzschwelle überschritten wird.
  • Wenn ein Benutzer mit einer GUI auf einem Touchscreen über eine Berührungsgeste interagiert (z. B. einzelne oder mehrfache Berührung, Wischen, Kneifen, Zoom usw.), gibt es einen kognitiven und physischen Prozess, den der Benutzer durchläuft, um mit einem GUI-Element, wie etwa einem Menü oder einer Taste, zu interagieren. In einem vereinfachten Beispiel initiiert ein Benutzer typischerweise eine Interaktion mit einem Touchscreen, indem er zuerst auf die Anzeige schaut, das Ziel-GUI-Element (z. B. Taste) identifiziert, die Hand ausstreckt und die Taste in einer propriozeptiven Rückmeldeschleife lokalisiert, die schlussendlich zu einer erfolgreichen Aktivierung dieser Taste führt. In einer dynamischen Fahrsituation kann der propriozeptive Prozess der Lokalisierung und Aktivierung der Taste jedoch ein schwieriger Prozess sein, der einen kognitiven und physischen Aufwand erfordert, was im Gegenzug die Belastung des Benutzers (z. B. eine kognitive Belastung, eine Aufmerksamkeitsbelastung, eine physische Belastung usw.) erhöht.
  • Physisch kann die Größe des Bildschirms und die Reichweite des Benutzers die Genauigkeit der Berührungsinteraktion des Benutzers beeinflussen. Typischerweise verringert sich die Genauigkeit der Berührung mit dem Ausmaß/der Reichweite (z. B. wenn sein Arm ausgestreckt ist, wird die Stärke, die Stabilität, die Tiefenwahrnehmung, die Blickablenkung von der Straße usw. herausfordernder). Diese erhöhte Belastung erhöht letztendlich das Sicherheitsrisiko, wenn der Benutzer fährt, da die Aufmerksamkeit von der Aufgabe des Fahrens abgelenkt wird.
  • Das Verfahren kann ferner das Mitteln des physischen Bereichs mit den aktiven Bereichen des fokussierten Satzes umfassen, um zu bestimmen, welches Element des fokussierten Satzes das Berührungsziel ist. Wenn eine physische Interaktion vorgenommen wird (d. h. ein physischer Bereich bestimmt wird), kann sie gegen die Elemente des fokussierten Satzes gewichtet werden. Falls beispielsweise der physische Bereich innerhalb des fokussierten Satzes liegt, kann er hoch gewichtet werden und die Auswahl des auszuführenden Elements bewirken. Falls der physische Bereich jedoch außerhalb des fokussierten Satzes liegt, kann sein Ort mit dem fokussierten Satz gemittelt werden, um einen dritten Ort zur Auswahl zu finden. Beispielsweise kann dies das nächstgelegene Element oder der nächstgelegene aktive Bereich in dem fokussierten Satz zu dem physischen Bereich, ein Element auf halber Strecke zwischen dem Massenzentrum des fokussierten Bereichs und dem physischen Bereich (zum Beispiel kann dies durchgeführt werden, wenn der fokussierte Satz und der physische Bereich große oder unregelmäßige Formen sind) oder eine andere Berechnung sein, die Fachleuten bekannt ist.
  • Das Verfahren kann ferner das Verzögern der Auswahl des Berührungsziels umfassen, bis der physische Bereich erneut mit einem aktiven Element des fokussierten Satzes ausgerichtet ist. Falls der physische Bereich außerhalb des fokussierten Satzes liegt, kann das Verfahren dem Benutzer eine Möglichkeit geben, seine Auswahl durch Neuausrichten (z. B. durch Ziehen) seines Fingers zu einem Element des fokussierten Satzes zu korrigieren. Das System ermöglicht dann dem Benutzer, ein Element im fokussierten Satz auszuwählen, anstatt versehentlich ein Element außerhalb des fokussierten Satzes auszuwählen, das dem physischen Bereich entspricht.
  • Das Anpassen der aktiven Bereiche kann das Anpassen der Größe der aktiven Bereiche, das Bewegen der aktiven Bereiche oder das visuelle Hervorheben der aktiven Bereiche beinhalten. Durch das Anpassen der Größe der aktiven Bereiche können die Elemente der grafischen Benutzeroberfläche ein größeres Auswahlziel aufweisen, ohne die visuelle Größe der Elemente auf der Oberfläche zu ändern. Dies ermöglicht eine konsistente visuelle Benutzererfahrung, während dem Benutzer ermöglicht wird, ein Element auszuwählen, ohne auf seinem exakten visuellen Ort oder seiner exakten visuellen Repräsentation zu landen. Ferner kann die Größenzunahme des aktiven Bereichs proportional zu der Blickverweilzeit sein. Das Vergrößern des aktiven Bereichs für die Taste oder ein anderes GUI-Element sollte die Erfolgsrate zum Aktivieren des gewünschten Elements beim ersten Versuch des Benutzers erhöhen und die Konfidenz des Benutzers in das System erhöhen.
  • Das Hervorheben des aktiven Bereichs kann dem Benutzer auch dabei helfen, seine Berührungsinteraktion zu stabilisieren, indem ihm ein offensichtlicher Landebereich für die physische Interaktion gegeben wird. Zusätzlich kann das Bewegen der aktiven Bereiche dem Benutzer auch ermöglichen, ein Oberflächenelement auszuwählen, das er versucht, anzuzielen, aber nicht leicht erreichen kann, insbesondere in Fahrzeugen, bei denen der Touchscreen weiter weg als eine Armeslänge vom Benutzer liegt.
  • Das Vergrößern oder anderweitige Anpassen des interaktiven Zielbereichs einer Taste, eines Symbols oder eines anderen Merkmals einer GUI kann für den Benutzer nicht sichtbar oder sichtbar sein. Falls beispielsweise die Anpassung nicht sichtbar ist, vergrößert sich der Zielbereich, wohingegen die grafische Repräsentation dies nicht tun würde. Falls die Anpassung sichtbar ist, würde die Repräsentation des grafischen Elements oder Merkmals modifiziert werden, um einen vergrößerten Zielbereich zu signalisieren. Sowohl der Zielbereich als auch die Taste, das Symbol oder andere Elemente können modifiziert werden, um sich gleichzeitig in Größe oder Form zu ändern. Falls darüber hinaus sowohl der nicht sichtbare Zielbereich als auch die sichtbare grafische Repräsentation eines Elements angepasst werden, könnten ihre Anpassungen nicht identisch sein. Beispielsweise kann sich der nicht sichtbare Zielbereich um einen größeren Grad vergrößern als eine sichtbare Vergrößerung einer Taste.
  • Das Bestimmen eines Fokusbereichs kann das Verfolgen der Augen des Benutzers unter Verwendung der Augenverfolgungseinrichtung umfassen. Augenverfolgungstechnologie (z. B. Framerate, Auflösung, kombiniertes RGB und IR usw.) hat stetig in Genauigkeit zugenommen und ermöglicht nun die zuverlässige Verfolgung der fovealen Sicht. Maschinelles Lernen kann die Genauigkeit zusätzlich erhöhen, da das Modell von Blick (Aktion) und Berührung (Eingabe) Daten zum Trainieren des maschinellen Lernmodells bereitstellt.
  • Das Verfahren kann das Bestimmen einer Orientierung oder eines Blicks der Augen des Benutzers bezüglich des Touchscreens beinhalten. Die Orientierung der Augen des Benutzers entspricht einem ersten physischen Ort des Touchscreens. Das Verfahren kann ferner das Messen einer Fokuszeit, für die die Augen des Benutzers die Orientierung einnehmen, und das Berechnen des Fokusbereichs auf dem Touchscreen basierend auf der Orientierung der Augen und der Fokuszeit umfassen. Das Verwenden des Blicks des Benutzers zum Bestimmen des Fokusbereichs kann die kognitive und physische Belastung des Benutzers (d. h. Fahrers) reduzieren, wenn er mit einem Touchscreen während des Fahrens interagiert. Die Zeit, die zum Verstehen und physischen Interagieren mit einem Touchscreen gebraucht wird, ist die Zeit, für die die Aufmerksamkeit des Benutzers von der Straße abgelenkt ist. Dies stellt ein Sicherheitsrisiko dar.
  • Wenn mehrere Faktoren gewichtet werden, um einen fokussierten Satz zu bestimmen, sollte ein Blick eines Benutzers allgemein vor der Berührung kommen. Dies liegt daran, dass Touchscreens keine physische Affordanz bieten, um den Finger oder die Hand des Benutzers auf die gleiche Art und Weise zu stabilisieren, wie es eine physische Taste tut. Ferner identifiziert der Benutzer in einem kognitiven Prozess zunächst das GUI-Ziel visuell und versucht dann, das Ziel-GUI-Element zu berühren. Dies erzeugt eine Reihenfolge, die die visuelle Identifikation des Benutzers eines GUI-Elements gegenüber einer physischen priorisiert. Dieser Prozess mit einem herkömmlichen Touchscreen in einem Auto kann Zeit und Aufwand erfordern. In einem dynamischen und bewegten Fahrzeug (z. B. mit Straßenunebenheiten, Kurvenfahren usw.) kann es anstrengend, schwierig und ermüdend sein, den Arm, die Hand und den Finger auszustrecken, um einen Punkt auf Armeslänge zu berühren (z. B. bei ungefähr 25 bis 27 Zoll). Ferner erschweren es diese Faktoren, eine genaue Berührungsauswahl einer GUI-Taste vorzunehmen, ohne die Hand und/oder den Finger physisch zu stabilisieren.
  • Das Verfahren kann ferner eine Fingerverfolgungseinrichtung umfassen, die mindestens einen Finger des Benutzers verfolgt. Die Orientierung des mindestens einen Fingers des Benutzers entspricht einem zweiten physischen Ort des Touchscreens. Das Verfahren kann das Berechnen des Fokusbereichs auf dem Touchscreen basierend auf der Orientierung des mindestens einen Fingers des Benutzers beinhalten. Durch das optionale Komplementieren der Augenverfolgung mit der zusätzlichen Hand- oder Fingerverfolgung (z. B. kapazitive Berührungserfassung, TOF-Kamera, Kamera mit Skelettmodellierung, Lidar usw.) wird eine Rückmeldeschleife erzeugt, die genauere Vorhersagen, Fehlerkorrektur und Oberflächenanpassung ermöglicht. Zusätzlich kann das Kombinieren von Blick- und Fingerverfolgung zusätzliche GUI-Anpassungsmöglichkeiten bereitstellen.
  • Das Verfahren kann ferner das Berechnen des Fokusbereichs auf dem Touchscreen umfassen, bis ein physischer Bereich entsprechend der Interaktion des Benutzers mit dem Touchscreen registriert oder bestimmt wird. Durch das Verfeinern des Fokusbereichs, während sich der Benutzer dem Touchscreen nähert, können die aktiven Bereiche dynamisch basierend auf aktuellerer Blick- und Fingerverfolgung angepasst werden.
  • In einer anderen Ausführungsform kann das Verfahren durch ein System zur Stabilisierung einer Interaktion eines Benutzers mit einem Touchscreen ausgeführt werden. Das System kann einen Touchscreen, eine Augenverfolgungseinrichtung und einen Prozessor umfassen. Der Prozessor kann dazu ausgelegt sein, eine Oberfläche der Touchscreen-Anzeige mit einer Vielzahl von Elementen zu befüllen, wobei ein Element der Vielzahl einen aktiven Bereich zum Registrieren einer Berührungsinteraktion durch den Benutzer umfasst. Der Prozessor kann ferner einen Fokusbereich des Benutzers auf der Oberfläche bestimmen und vergleicht den Fokusbereich mit den aktiven Bereichen der Vielzahl von Elementen, um einen fokussierten Satz zu bestimmen, der mindestens ein Element umfasst, das eine Auswahlschwelle überschreitet. Dann kann der Prozessor die aktiven Bereiche der Vielzahl von Elementen anpassen, um die Auswahlschwelle mindestens eines Elements in dem fokussierten Satz zu erhöhen.
  • Zusätzlich kann ein maschineller Lernansatz dem System dabei helfen, von Blickverhalten und Interaktionsverhalten zu lernen. Dies kann ermöglichen, das System für einen Fahrer zu kalibrieren, von Mustern zu lernen, um Verhalten vorherzusagen, und andere Vorteile des maschinellen Lernens. Ein maschineller Lernansatz kann ein Kontextverständnis ermöglichen, um Muster zu verstehen oder zu erkennen und Vorhersagen basierend auf einem Benutzer-, Fahrzeug- oder GUI-Kontext vorzunehmen. Maschinelles Lernen kann auch die Kalibration des Systems für unterschiedliche Benutzer oder Fahrer unterstützen. Ferner kann eine Kombination von Blickfokus und Fingeransatz eine statistische Evaluierung der Interaktionsdaten ermöglichen. Beispielsweise die dimensionale und zeitbasierte Beziehung zwischen dem Blickpunkt und der Berührung. Oder, in einem anderen Beispiel, basiert das Lernen auf dem Erfolg der Interaktion (z. B. nach einer Interaktion, das Bestimmen, ob ein Benutzer damit fortfährt, in einen bekannten Prozess fortzuschreiten, oder das Bestimmen, ob ein Benutzer aufgrund einer Fehlberührung, eines falschen Eintrags oder einer Erkundung usw. einen Schritt wiederholt oder zurückgeht). Das System kann auch die Häufigkeit einer Interaktion bestimmen, die ein Benutzer mit einem Touchscreen oder seinen Oberflächenelementen hat. Die Verfolgungshäufigkeit der Interaktion kann darüber informieren, welche Elemente der Oberfläche wahrscheinlicher durch einen Benutzer ausgewählt werden, sodass diese Elemente gewichtet werden, um ihre Auswahlwahrscheinlichkeit zu erhöhen. Dies kann für einzelne Benutzer durchgeführt werden, sodass ähnliche Muster der Berührungsinteraktion (z. B. ein ähnlicher Fokusbereich und physische Bereiche) basierend auf den aufgezeichneten Häufigkeiten von verschiedenen Fahrern unterschiedlich gewichtet werden können.
  • In einigen Ausführungsformen kann die Stabilisierung eine Näherungsberührung ausnutzen (d. h. Detektion eines Fingers, während er sich eine Anzeige nähert). Unter Verwendung eines maschinellen Lernansatzes und das Kombinieren vergangener Datenmuster über Blick- und Berührungsverhalten kann das System ein optionales Merkmal aufweisen (z. B. durch Benutzerpräferenz ausgewählt oder automatisch aktiviert), um ein GUI-Element vor dem tatsächlichen Berührungsmoment prädiktiv zu aktivieren (z. B. Verhalten als Luft- oder Näherungsberührungsgeste). In einer weiteren Ausführungsform kann die Stabilisierung eine 3D-Fingerverfolgung verwenden, um ein Verständnis eines propriozeptiven „Anpeilungs“-Verhaltens zu ermöglichen, wenn der Benutzer seine Hand ausstreckt, die Anzeige erreicht und diese berührt. Das Anpeilungsverhalten ist ein gewöhnlicher zugrundeliegender Grund für die „Klicken-beim-Loslassen“-Tastenaktion („Click on Release“), die für GUIs üblich ist, da sie Benutzern ermöglicht, Fehler zu korrigieren. Dies kann auch ein „Hover“-Merkmal bereitstellen (z. B. kann der Benutzer pausieren und den Finger über den tatsächlichen schweben lassen oder einen Finger über die Benutzeroberfläche bewegen), sodass unterschiedliche GUI-Elemente reagieren, während der Benutzer einen Finger hovert und über den GUI-Bildschirm bewegt (z. B. um Voransichten, Hinweise oder weitere Informationen bereitzustellen, wie in der GUI-Praxis üblich ist).
  • Die Augenverfolgungseinrichtung des Verfahrens oder Systems kann eine Infrarot-Kamera oder ein Headset umfassen. Die Augenverfolgungseinrichtung kann Kopfverfolgung, Gesichtsverfolgung oder Augenverfolgung beinhalten. Die Verfolgung eines Benutzers oder des Auges eines Betrachters kann zu einer hochgenauen Schätzung der Blickwinkel eines Betrachters führen, um die holographische Anzeige genau anzupassen. Kopf- oder Gesichtsverfolgung kann auch ein ähnliches Ergebnis mit weniger kostspieligen oder spezialisierten Geräten erzeugen.
  • Das Bestimmen des Fokusbereichs des Benutzers auf der Oberfläche kann das Verfolgen der Augen des Benutzers unter Verwendung der Augenverfolgungseinrichtung und das Bestimmen einer Orientierung der Augen des Benutzers bezüglich des Touchscreens umfassen. Die Orientierung der Augen des Benutzers kann einem ersten physischen Ort des Touchscreens entsprechen. Der Prozessor kann ferner eine Fokuszeit messen, in der die Augen des Benutzers die Orientierung einnehmen, und den Fokusbereich auf dem Touchscreen basierend auf der Orientierung der Augen und der Fokuszeit berechnen.
  • Das System kann eine Fingerverfolgungseinrichtung umfassen, die mindestens einen Finger des Benutzers verfolgt. Die Orientierung des mindestens einen Fingers des Benutzers kann einem zweiten physischen Ort des Touchscreens entsprechen. Der Prozessor kann ferner den Fokusbereich auf dem Touchscreen basierend auf der Orientierung des mindestens einen Fingers des Benutzers berechnen.
  • Die Augenverfolgungseinrichtung kann Kopfverfolgungs-, Gesichtsverfolgungs- sowie Augenverfolgungsmerkmale beinhalten. Die Verfolgung eines Benutzers oder des Auges eines Betrachters kann zu einer hochgenauen Schätzung der Blickwinkel eines Betrachters führen, um die aktiven Bereiche genau anzupassen. Kopf- oder Gesichtsverfolgung kann auch ein ähnliches Ergebnis mit weniger kostspieligen oder spezialisierten Geräten erzeugen. Das System kann einen Belegungssensor beinhalten. Das Verwenden eines Belegungssensors kann genauere Einrichtungsanpassungen als eine Messvorrichtung alleine ermöglichen. Falls beispielsweise ein Fahrzeug nur eine Augen- oder Kopfverfolgungskamera für den Fahrer hat, kann das Verwenden eines Belegungssensors für einen Beifahrersitz der Einrichtung ermöglichen, für einen Beifahrer und einen Fahrer angepasst zu werden, falls ein Beifahrer detektiert wird.
  • Der Touchscreen kann sich in der Armlehne, der Säule, dem Armaturenbrett, der Motorhaube, dem Dachfutter oder der Konsole befinden. Die Anzahl von Touchscreens ermöglicht eine nicht-traditionelle Platzierung eines Bildschirms im Vergleich zu herkömmlichen Anzeigen. Ferner kann das Platzieren des Touchscreens in einer Armlehne, einer Säule, einem Dachfutter oder einem anderen Bereich eines Fahrzeugs Raum ausnutzen, der traditionell nicht verwendet wird und Stabilisierungsprobleme für herkömmliche Touchscreens präsentiert.
  • Implementierungen der beschriebenen Techniken können Hardware, ein Verfahren und einen Prozess oder Computersoftware auf einem computerzugänglichen Medium beinhalten. Ausführungsformen dieses Aspekts beinhalten entsprechende Computersysteme, Einrichtungen und Computerprogramme, die auf einer oder mehreren Computerspeichervorrichtungen aufgezeichnet sind, die jeweils dazu ausgelegt sind, die Aktionen der Verfahren durchzuführen. Implementierungen der beschriebenen Techniken können Hardware, ein Verfahren und einen Prozess oder Computersoftware auf einem computerzugänglichen Medium beinhalten.
  • Kurze Beschreibung der Figuren
  • Einige Beispiele von Einrichtungen und/oder Verfahren werden im Folgenden nur beispielhaft und mit Bezug auf die begleitenden Figuren beschrieben, in denen gilt:
    • 1 zeigt ein Blockdiagramm eines Verfahrens zur Stabilisierung einer Interaktion eines Benutzers mit einem Touchscreen.
    • 2 zeigt eine Ausführungsform des Systems zur Berührungsstabilisierung.
    • 3A bis 3C zeigen ein veranschaulichendes Beispiel einer Blickverfolgung zwischen einer Vielzahl von Oberflächenelementen.
    • 4 zeigt eine schematische Ansicht des Systems zur Berührungsstabilisierung in einem Fahrzeug.
    • 5 zeigt Beispiele der Anpassung aktiver Bereiche eines Oberflächenelements.
  • Ausführliche Beschreibung
  • Einige Beispiele werden nun ausführlich mit Bezug auf die eingeschlossenen Figuren beschrieben. Andere mögliche Beispiele sind jedoch nicht auf die Merkmale dieser ausführlich beschriebenen Ausführungsformen beschränkt. Andere Beispiele können Modifikationen der Merkmale sowie Äquivalente und Alternativen für die Merkmale beinhalten. Ferner sollte die hierin verwendete Terminologie zum Beschreiben bestimmter Beispiele nicht für weitere mögliche Beispiele beschränkend sein.
  • In der gesamten Beschreibung der Figuren beziehen sich gleiche oder ähnliche Bezugsziffern auf die gleichen oder ähnlichen Elemente und/oder Merkmale, die identisch sein können oder in einer modifizierten Form implementiert werden können, während sie die gleiche oder eine ähnliche Funktion bereitstellen. Die Dicke von Linien, Layern und/oder Bereichen in den Figuren kann zur Verdeutlichung auch übertrieben sein.
  • Wenn zwei Elemente A und B unter Verwendung eines „oder” kombiniert werden, soll dies so verstanden werden, dass alle möglichen Kombinationen offenbart sind, d. h. nur A, nur B sowie A und B, sofern nichts anderes in dem individuellen Fall definiert ist. Als eine alternative Formulierung für die gleichen Kombinationen kann „mindestens eines von A und B“ oder „A und/oder B“ verwendet werden. Dies gilt äquivalent für Kombinationen von mehr als zwei Elementen.
  • Falls eine Singularform, wie etwa „ein“, „eine“ und „der/die/das“ verwendet wird und die Verwendung von nur einem einzelnen Element nicht als zwingend definiert ist, entweder explizit oder implizit, können weitere Beispiele auch mehrere Elemente verwenden, um die gleiche Funktion zu implementieren. Falls eine Funktion unten als unter Verwendung mehrerer Elemente implementiert beschrieben ist, können weitere Beispiele die gleiche Funktion unter Verwendung eines einzelnen Elements oder einer einzelnen Verarbeitungsentität implementieren. Es versteht sich ferner, dass die Begriffe „beinhalten“, „einschließlich“, „umfassen“ und/oder „umfassend“, wenn verwendet, das Vorhandensein der spezifizierten Merkmale, Ganzzahlen, Schritte, Operationen, Prozesse, Elemente, Komponenten und/oder einer Gruppe davon beschreiben, aber nicht das Vorhandensein oder den Zusatz von einer bzw. einem oder mehreren anderen Merkmalen, Ganzzahlen, Schritten, Operationen, Prozessen, Elementen, Komponenten und/oder einer Gruppe davon ausschließen.
  • 1 zeigt ein Blockdiagramm für ein Verfahren 100 zur Stabilisierung einer Interaktion eines Benutzers mit einem Touchscreen. Das Verfahren 100 umfasst das Befüllen einer Oberfläche 110 der Touchscreen-Anzeige mit einer Vielzahl von Elementen (d. h. GUI-Elementen), wobei ein Element der Vielzahl einen aktiven Bereich zum Registrieren einer Berührungsinteraktion durch den Benutzer umfasst. Das Verfahren 100 umfasst ferner das Bestimmen eines Fokusbereichs 120 des Benutzers auf der Oberfläche und das Vergleichen des Fokusbereichs 130 mit den aktiven Bereichen der Vielzahl von Elementen, um einen fokussierten Satz zu bestimmen, der mindestens ein Element umfasst, das eine Auswahlschwelle überschreitet. Das Verfahren 100 umfasst dann das Anpassen der aktiven Bereiche 140 der Vielzahl von Elementen, um die wahrscheinliche Auswahlschwelle mindestens eines Elements in dem fokussierten Satz zu reduzieren.
  • Im Allgemeinen wird ein Fokusbereich eines Benutzers durch das Beobachten und Messen des Blicks eines oder beider Augen bestimmt. Obwohl für das weitere Verfeinern der Fokusbereichsbestimmung andere Messungen optional eingeschlossen werden können (z. B. der Ort seines Fingers vor dem Kontaktieren einer Anzeige). Blickverfolgung (z. B. hochgenaue Blickverfolgung, wie etwa über eine Kamera mit hoher Auflösung und schneller Framerate) verwendet Blickfixierungsdaten, um den aktiven Bereich oder die Zielzone eines GUI-Elements (z. B. Taste, Schieberegler usw.) dynamisch zu erweitern. Das Erweitern des aktiven Bereichs erleichtert es dem Benutzer, dieses spezifische GUI-Element auszuwählen. Mit anderen Worten erfordert das Erweitern eines aktiven Bereichs weniger Genauigkeit, Aufmerksamkeit und Aufwand von einem Benutzer, um einen Touchscreen erfolgreich zu verwenden.
  • Nach dem Bestimmen, dass der Benutzer beabsichtigt, mit einer Oberfläche zu interagieren, bestimmt das Verfahren 100 zunächst einen Fokusbereich 120 auf der Oberfläche. Ein Fokusbereich kann mindestens ein Punkt sein, aber er kann eine beliebige 2D-Form sein, die der Benutzer anzielt. Er kann allgemein ein Kreis sein, dessen Radius oder Durchmesser von der Genauigkeit und Präzision der technischen Lösung oder der Messeinrichtungen abhängt (z. B. Kameraauflösung und Software zum Berechnen der Position). Das Verfahren 100 vergleicht dann den Fokusbereich mit einem aktiven Bereich eines oder mehrerer Oberflächenelemente und wählt eines des einen oder der mehreren Oberflächenelemente aus, falls der Fokusbereich (z. B. foveale Fixierung) und der aktive Bereich eine Auswahlschwelle überschreiten. Optionale Schritte können das Erweitern der Größe und/oder das Modifizieren der Form des aktiven Bereichs oder der Auslösezone des GUI-Elements beinhalten. Das Ändern des aktiven Bereichs ist für den Benutzer möglicherweise nicht sichtbar und lediglich eine Bestimmung durch das System. Das Ändern des aktiven Bereichs entspricht jedoch einer wesentlichen identischen Anpassung der GUI-Elemente, um eine geänderte Oberfläche visuell anzugeben, wodurch einige Elemente leichter ausgewählt werden können.
  • In einigen Ausführungsformen könnte es keine tatsächliche Auswahl eines Oberflächenelements geben. Das GUI-Element kann auf irgendeine Weise modifiziert werden, wie etwa durch Hervorheben, Vergrößern (z. B. um die Änderung in der Auslösezone auszudrücken), oder durch ein anderes in der Technik bekanntes Mittel.
  • In einigen Ausführungsformen erwartet das Verfahren einen physischen Kontakt mit der Anzeige, bevor die aktiven Bereiche von GUI-Elementen geändert werden. Das Verfahren 100 bestimmt einen Fokusbereich (d. h. den der Benutzer beabsichtigt anzuzielen) auf der Oberfläche (zumindest an einem Punkt, aber er kann eine beliebige 2D-Form sein), die der Benutzer anzielt, und vergleicht den angezielten Bereich mit einem aktiven Bereich eines oder mehrerer Oberflächenelemente. Das Verfahren 100 wählt dann ein oder mehrere Oberflächenelemente aus, falls der angezielte Bereich und der aktive Bereich eine Übereinstimmungsschwelle überschreiten. Nach der Auswahl passt das Verfahren 100 den aktiven Bereich des einen oder der mehreren ausgewählten Oberflächenelemente an, um die Wahrscheinlichkeit zu erhöhen, dass sie durch eine physische Interaktion mit der Anzeige ausgewählt werden.
  • Das Verfahren 100 kann ferner das Bestimmen eines physischen Bereichs 150 entsprechend der Interaktion des Benutzers mit dem Touchscreen umfassen. Dann wird ein Berührungsziel 160 durch das Vergleichen des physischen Bereichs mit den aktiven Bereichen des fokussierten Satzes bestimmt. Und schließlich beinhaltet das Verfahren 100 Auswählen 170 eines der Vielzahl von Elementen basierend auf dem Berührungsziel.
  • Wenn das System eine physische Interaktion mit der Anzeige registriert, bestimmt das Verfahren 100 einen physischen Bereich (zumindest einen Punkt, aber es kann eine beliebige 2D-Form sein) entsprechend der physischen Eingabe. Das Verfahren 100 wählt dann einen des einen oder der mehreren angepassten aktiven Bereiche der Oberflächenelemente aus, falls der physische Bereich und der aktive Bereich eine Auswahlschwelle überschreiten. Die Auswahlschwelle kann das Auswählen eines Elements beinhalten, falls der Berührungsbereich kontaktiert (z. B. berührt, überlappt) oder proximal ist (z. B. näher zu diesem Element als zu irgendeinem anderen Element oder innerhalb einer bestimmten Schwelle).
  • Die physische Interaktion mit einem Touchscreen unter Verwendung eines Fingerkontakts ist dynamisch. Die Hand eines Benutzers ist häufig nicht stabil, insbesondere in einer Fahrzeugumgebung. Darüber hinaus bewegen Benutzer häufig ihre Hände oder ihren Finger, während sie versuchen, sich zu entscheiden. Benutzer berühren oder denken häufig zur gleichen Zeit, sodass es vom Standpunkt eines GUI-Designs besser ist, eine Aktion (z. B. einen Tastendruck) zu registrieren, wenn der Finger entfernt wird, anstelle bei der ersten Berührung. Dies ist als Klicken-beim-Loslassen bekannt.
  • Das Bestimmen des Berührungsziels 160 kann das Mitteln 162 des physischen Bereichs mit den aktiven Bereichen des fokussierten Satzes umfassen, um zu bestimmen, welches Element des fokussierten Satzes das Berührungsziel ist. Das Bestimmen des Berührungsziel 160 kann auch das Verzögern 164 der Auswahl des Berührungsziel umfassen, bis der physische Bereich erneut mit einem aktiven Element des fokussierten Satzes ausgerichtet ist.
  • In einigen Ausführungsformen, falls das Verfahren 100 bestimmt, dass der Benutzer beabsichtigt, mit einer Benutzeroberfläche zu interagieren, bestimmt das Verfahren 100 zunächst einen Fokusbereich 120 auf der Oberfläche, die der Benutzer anzielt. Das Verfahren 100 bestimmt dann einem physischen Bereich auf der Oberfläche entsprechend einer empfangenen physischen Eingabe und gewichtet den angezielten Bereich und den physischen Bereich basierend auf jeweiligen Konfidenzwerten. Als Nächstes bestimmt das Verfahren 100 den Fokusbereich unter Verwendung der gewichteten Werte von angezielten und physischen Bereichen, wählt das eine oder die mehreren Oberflächenelemente basierend auf dem Fokusbereich aus.
  • Das Bestimmen eines Fokusbereichs 120 kann das Verfolgen der Augen 122 des Benutzers unter Verwendung einer Augenverfolgungseinrichtung und dann das Bestimmen einer Orientierung der Augen 124 des Benutzers bezüglich des Touchscreens umfassen. Die Orientierung der Augen des Benutzers kann einem ersten physischen Ort des Touchscreens entsprechen. Das Bestimmen eines Fokusbereichs 120 kann ferner das Messen einer Fokuszeit 126, in der die Augen des Benutzers die Orientierung einnehmen, und das Berechnen des Fokusbereichs 128 auf dem Touchscreen basierend auf der Orientierung der Augen und der Fokuszeit umfassen.
  • Das Verfolgen der Orientierung der Augen oder des Blicks des Benutzers umfasst hauptsächlich das Bestimmen der Position der Iris des Benutzers. Dies kann jedoch andere Faktoren beinhalten, wie etwa das Überwachen der Anordnung oder Orientierung anderer Gesichtsmerkmale. Die Orientierung der Pupille/des Auges, wenn ein Benutzer auf einen Punkt oder ein Objekt fixiert ist, ist unabhängig von der Kopf-/Gesichtsorientierung (unter der Annahme, dass das Verfolgungssystem statisch ist (im Fahrgastraum montiert, in der Nähe zu oder auf dem Touchscreen) und nicht an den Kopf gebunden ist).
  • Der Aufbau jedes Faktors bei der Bestimmung des Blicks kann in unterschiedlichen Szenarien angepasst werden. Das menschliche Auge bewegt sich nicht gleichmäßig, sondern springt von Ort zu Ort, was als eine Sakkade bekannt ist. Die Augensakkade hilft bei der Bestimmung des Blicks eines Benutzers, da sie eine(n) definiertere(n) Fixierungsposition/-wert gibt. Wenn das Auge fixiert, tendiert es jedoch dazu, etwas abzudriften (z. B. 1/10 eines Grades), was ein Durchschnittsfachmann berücksichtigen kann. Wenn eine Messvorrichtung, wie etwa eine IR-Kamera, in der Umgebung fixiert ist, kann das Verfahren 100 besser bestimmen, ob der Benutzer auf eine Anzeige schaut oder nicht, zum Beispiel auf den Becherhalter. Dies liegt daran, dass die relativen Platzierungen der Kamera und des Touchscreens bekannt sind. Um die Fixierung auf spezifische GUI-Elemente zu bestimmen, bestimmt das Verfahren, sobald ein Element angesehen wird, die Fixierung basierend auf einer Zeitspanne und einer mittleren Position (um Sakkade und Drift zu berücksichtigen). Ferner können Augenfixierung und Fingerberührung zu dem Zeitpunkt des Kontakts mit einem Touchscreen zusammengesetzt werden (z. B. das Auge des Benutzers fixiert auf eine Taste, während sein Finger diese Taste anpeilt). Eine visuelle und kognitive Aufmerksamkeit des Benutzers (und vielleicht eine „propriozeptive“ Aufmerksamkeit mit der Aktion/Kontrolle des Fingers) kommen zu diesem Zeitpunkt wesentlicher zusammen.
  • In einigen Ausführungsformen, falls ein Benutzer seinen Fokus zwischen der Straße und der Anzeige ändert, können Informationen über die Absicht des Benutzers erhalten werden (z. B. würde das Augenverhalten anders sein, wenn jemand versucht, eine GUI zu verstehen und eine Taste zu finden, gegenüber gelegentlich auf eine Karte zu blicken).
  • Das Bestimmen eines Fokusbereichs 120 kann ferner das Verfolgen mindestens eines Fingers 123 des Benutzers unter Verwendung einer Fingerverfolgungseinrichtung umfassen. Die Orientierung des mindestens einen Fingers des Benutzers kann einem zweiten physischen Ort des Touchscreens entsprechen. Die Berechnung des Fokusbereichs 128 auf dem Touchscreen kann ferner die Orientierung des mindestens einen Fingers des Benutzers beinhalten. In einer weiteren Ausführungsform kann das Berechnen des Fokusbereichs auf dem Touchscreen 128 fortgesetzt werden, bis ein physischer Bereich entsprechend der Interaktion des Benutzers mit dem Touchscreen bestimmt wird 150.
  • In einigen Ausführungsformen verfolgen RGB-Kamera(s), IR-Kamera(s) oder ein Lidarbasierter Sensor den Hand- und Fingerort. Wie in der Technik bekannt, modellieren viele Systeme Fingergelenke und verstehen Skelettorientierung und -position. In einigen Fällen wird eine 3D-Fingerverfolgung möglicherweise nicht genug Auflösung bereitstellen, um einen Berührungskontakt genau zu detektieren. Daher kann die Kombination anderer Technologien jegliche Unzulänglichkeiten wettmachen. Eine kapazitive Erfassung kann verwendet werden, um eine Berührung zu erfassen, und kann auch abgestimmt werden, um Druck und Nähe anzugeben.
  • In einigen Ausführungsformen kann das Verfahren 100 zwischen mehreren Benutzern unterscheiden. Beispielsweise ein Fahrer, der auf die Anzeige schaut, aber ein Beifahrer, der die Auswahl durchführt. In dieser Ausführungsform kann das Verfahren den Blick des Fahrers ignorieren. Das Verfahren kann auch den Schwerpunkt auf den Blick eines Beifahrers legen und die Ziele für den Beifahrer anpassen, insbesondere, falls mehrere Benutzer von einer einzelnen Kamera oder mehreren Kameras abgedeckt werden. Ferner, wenn sowohl Augen- als auch Handverfolgung durchgeführt wird, kann das Verfahren die Hand und das Auge miteinander verbinden, sodass sie zu demselben Benutzer (Beifahrer oder Fahrer) gehören. Dies kann erreicht werden, indem auf die Handorientierung geschaut wird oder vollständiger auf den Benutzer geschaut wird.
  • In einigen Ausführungsformen kann es eine große oder gemeinsam genutzte Anzeige geben (z. B. Säule-zu-Säule- oder zentrale Informationsanzeige (CID)), die von mehreren Menschen (z. B. einem Fahrer und Beifahrer) gleichzeitig verwendet werden können. Das Verfahren 100 kann auch eine Berührungsstabilisierung für jeden Benutzer basierend auf dem Blick jedes Benutzers und Assoziieren des Blicks jedes Benutzers mit den Fingern oder Händen dieses Benutzers beinhalten.
  • Wenn das Verfahren 100 ausgeführt wird, verhindert es nicht notwendigerweise, dass der Touchscreen normal arbeitet. Eines der Ergebnisse der Blickfixierung besteht darin, die Auslösezone des GUI-Elements zu erweitern, sie muss nicht notwendigerweise die Auslösezone der anderen GUI-Elemente reduzieren. Mit anderen Worten bleiben die Auslösezonen über die GUI hinweg für den Benutzer oder irgendjemanden zur Verwendung zugänglich. Falls beispielsweise ein Benutzer auf die obere rechte Ecke einer Anzeige schaut und sein Finger in der Nähe der unteren rechten Seite hovert, kann das Verfahren auf das Erweitern der Auslösezone fokussieren, auf die das Auge fixiert ist. Mit dem Rest des Touchscreens kann jedoch weiterhin normal interagiert werden (d. h. ohne augmentierte aktive Bereiche). Daher ist es das GUI-Element, das der Benutzer berührt und aktiviert (d. h. Klicken-beim-Loslassen), das das Ergebnis der Interaktion bestimmt. Fokusbereiche, die durch einen Blick bestimmt werden, unterstützen die Interaktion.
  • In Szenarien, bei denen der Benutzer die Anzeige blind (d. h. ohne auf den Touchscreen zu schauen, zum Beispiel, wenn seine Augen auf die Straße fixiert sind) und nach Erinnerung berühren kann. Das Verfahren 100 kann zuvor bekannte Informationen über die Gewohnheiten des Benutzers oder einfache Häufigkeitsmetriken verwenden, um einen Standardzustand auszulösen. Dieser Zustand kann den aktiven Bereich der am meisten verwendeten oder wahrscheinlichsten Oberflächenelemente erweitern.
  • In einigen Ausführungsformen kann das Messen der Nähe des Fingers zu dem Fixierungspunkt den Betrag skalieren, um den der aktive Bereich erhöht wird. Diese Skalierung kann auf eine Schwelle oder relativ zu den anderen GUI-Elementen und ihren aktiven Bereichen beschränkt sein. Beispielsweise kann der aktive Bereich eines GUI-Elements, das aufgrund des Fokusbereichs des Blicks ausgewählt wird, bis zu den aktiven Bereichen benachbarter GUI-Elemente erweitert werden. Die aktiven Bereiche des fokussierten Elements können auch andere GUI-Elemente mit einem bestimmten Grad überlappen, der die anderen GUI-Elemente nicht vollständig überschreibt.
  • Häufig wird eine kognitive Absicht eines Benutzers (d. h., was ein Benutzer denkt) anschließend widergespiegelt, oder folgt kurz nachdem, auf was ein Benutzer schaut (d. h. die visuelle Aufmerksamkeit oder Fixierung eines Benutzers). Auf was ein Benutzer nach einer Aktion schaut, kann aufzeigen, ob die Annahmen über die fixierten Elemente gut waren oder nicht. Falls beispielsweise ein Benutzer nach oder auf eine Zurück-Taste schaut (d. h. der Benutzer hat eine fehlerhafte Auswahl getroffen), dann war die Annahme über die Fixierung möglicherweise ein Fehler. Falls umgekehrt ein Benutzer auf die erwarteten nächsten Schritte schaut (z. B. wählt der Benutzer ein Musikalbum aus und drückt dann auf Abspielen oder wählt einen Track aus, dann war die Annahme über die Fixierung möglicherweise richtig.
  • In einer Ausführungsform kann eine Ambiguität in der Auswahl eines GUI-Elements verhindert werden, indem gewährleistet wird, dass die Berührungseingabe auf eine Weise oder eine andere voreingenommen ist. Beispielsweise durch das Verhindern, dass der Benutzer eine Auswahl trifft (d. h. nicht registriert), bis der Benutzer den mehrdeutigen Zustand verlässt und sich in Richtung des aktiven Bereichs oder visuellen Bereichs bewegt (z. B. Klicken-beim-Loslassen). In einer Ausführungsform können anschließende oder zukünftige Versuche für die Auswahl eines Elements basierend auf einer Kombination der Ausrichtung eines Blicks des Benutzers, einer Berührung, des aktiven Bereichs und optional der Interaktionsabschlusszeit oder Verweilzeit angepasst werden (z. B. würde Verweilzeit die Zeitdauer sein, für die der Finger sich in Kontakt mit einem Touchscreen befindet, bevor ein Element aktiviert wird).
  • Optional kann das Verfahren 100 eine beliebige Anzahl von Malen wiederholt werden. Beispielsweise kann das Verfahren 100 wiederholt werden, bis ein vordefinierter Umgebungskontext erreicht wird. Falls das Verfahren durch einen künstlichen intelligenten Agenten durchgeführt wird, kann das Wiederholen des Verfahrens 100 die Leistung verbessern, da die Daten verbessert werden können. Beispielsweise wird der Benutzer möglicherweise nicht immer die Auswahl 170 eines Elements bevorzugen, dass ein künstlicher Intelligenzagent gelernt und ausgeführt hat. Somit kann es der Benutzer frei nach seinem Wunsch aktualisieren. Dies kann durchgeführt werden, indem der Benutzer sein Verhalten angepasst, sodass der künstliche Intelligenzagent eine neue Anpassungsroutine lernt. Der Agent kann auch die erlernte Routine ändern und bestimmen, ob die Änderungen zu einer besseren oder genaueren Auswahlerfahrung für den Benutzer führen (z. B. durch Lernen von einer Anpassung, die in Schritt 164 vorgenommen wird, bei der der physische Bereich mit einem aktiven Element des fokussierten Satzes neu ausgerichtet wird). Dies ermöglicht dem künstlichen Intelligenzagenten, das Benutzerverhalten aus diesen gelegentlichen Änderungen als Rückmeldung besser zu lernen, und kann die Interaktion vom Benutzer reduzieren. Dieser Verwendungsfall kann veranschaulichen, wie der Algorithmus, z. B. der künstliche Intelligenzagent, dem Benutzer helfen kann. Da der Algorithmus selbst generischer sein kann und das Benutzerverhalten basierend auf den Daten lernen kann, kann dies zu den Verwendungsfällen und Merkmalen führen.
  • In einer weiteren Ausführungsform kann das Verfahren 100 als ein Programmcode auf einem nichtflüchtigen computerlesbaren Medium gespeichert werden. Das Verfahren kann dann durchgeführt werden, wenn der Programmcode auf einem Prozessor ausgeführt wird.
  • 2 zeigt eine Ausführungsform des Systems 200 zur Stabilisierung einer Interaktion eines Benutzers mit einem Touchscreen 204. Das System kann einen Touchscreen 204, eine Augenverfolgungseinrichtung 206 und einen Prozessor umfassen. Der Prozessor kann dazu ausgelegt sein, eine Oberfläche 240 der Touchscreen-Anzeige 204 mit einer Vielzahl von Elementen 242 zu befüllen. Jedes Element 242-1, 242-2 der Vielzahl 242 umfasst einen aktiven Bereich 243 zum Registrieren einer Berührungsinteraktion durch den Benutzer. Der Prozessor kann dann einen Fokusbereich 263 des Benutzers auf der Oberfläche 240 bestimmen. Dann den Fokusbereich 263 mit den aktiven Bereichen 243 der Vielzahl von Elementen 242 vergleichen, um einen fokussierten Satz zu bestimmen, der mindestens ein Element umfasst, das eine Auswahlschwelle überschreitet. Der Prozessor passt ferner die aktiven Bereiche 243 der Vielzahl von Elementen 242 an, um die Auswahlschwelle mindestens eines Elements in dem fokussierten Satz zu erhöhen.
  • Die Augenverfolgungseinrichtung 206 des Systems 200 kann eine Infrarot-Kamera (IR) oder ein Headset umfassen. Eine Infrarot-Kamera lenkt 262 IR-Beleuchtung auf ein Auge 202 eines Benutzers. Die Kamera empfängt 264 dann ein IR-Muster, das von der Pupille und Hornhaut des Auges reflektiert wird. Typischerweise sind Kameras IR- oder Nah-IR-Kameras, obwohl Kameras für sichtbares Licht auch verwendet werden können. In einem beliebigen Kamerasystem wird das Auge mit dem entsprechenden Wellenlängenlicht beleuchtet, und das System schaut nach der Pupille (die Licht absorbiert und nicht reflektiert, und somit schwarz erscheint) und Hornhautreflexion (die Licht reflektiert, das von einer Lichtquelle kommt). Das System 200 berechnet dann den Vektor (d. h. zwischen Pupille und Hornhautreflexion). Der Vektor bestimmt die Blickrichtung und daher die Blickposition auf dem Touchscreen. Falls eine Kamera für sichtbares Licht verwendet wird, könnte das System ein Bild- oder Farbmuster der Hornhautreflexion als einen Fehlerprüfmechanismus verwenden, um zu bestätigen, dass der Benutzer auf das gleiche Bild- oder Farbmuster schaut, das auf dem Touchscreen dargestellt wird.
  • In einer anderen Ausführungsform kann das System 200 Augmented-Reality- oder Mixed-Reality-Vorrichtungen (AR- oder MR-Vorrichtungen) verwenden, wie etwa eine AR-Brille. In dieser Ausführungsform kann eine Augenverfolgung von einer Kamera kommen, die sich in der Brille befindet. Andere Eingaben können verwendet werden, um den Fokusbereich zu bestimmen, einschließlich physischer Interaktionen mit Touchscreens oder Berührungsflächen (d. h. Oberflächen, die keine herkömmliche Anzeige sind).
  • Das Bestimmen des Fokusbereichs des Benutzers auf der Oberfläche 240 kann das Verfolgen der Augen 220 des Benutzers unter Verwendung der Augenverfolgungseinrichtung 206 und dann das Bestimmen einer Orientierung der Augen 220 des Benutzers bezüglich des Touchscreens 204 umfassen. Die Orientierung der Augen 220 des Benutzers kann einem ersten physischen Ort des Touchscreens 204 entsprechen. Das Bestimmen des Fokusbereichs kann ferner das Messen einer Fokuszeit, in der die Augen 220 des Benutzers die Orientierung einnehmen, und das Berechnen des Fokusbereichs auf dem Touchscreen 204 basierend auf der Orientierung der Augen und der Fokuszeit beinhalten.
  • Eine Augenverfolgungseinrichtung kann sich auf oder in der Nähe des Touchscreens befinden. Das System kann jedoch für verschiedene Touchscreen- und Kamerakonfigurationen überall im Fahrgastraum des Fahrzeugs oder einem anderen Raum kalibriert sein.
  • Das Bestimmen eines Fokusbereichs kann ferner das Verfolgen mindestens eines Fingers 222-1 des Benutzers der Hand 222 des Benutzers unter Verwendung einer Fingerverfolgungseinrichtung umfassen. Die Orientierung des mindestens einen Fingers des Benutzers entspricht einem zweiten physischen Ort des Touchscreens. Der Fokusbereich auf dem Touchscreen wird basierend auf der Orientierung des mindestens einen Fingers des Benutzers berechnet. Im Allgemeinen kann ein Finger eines Benutzers ein Katalysator für die Konzentration sowohl der visuellen als auch der kognitiven Aufmerksamkeit sein (z. B. Finden und Berühren einer bestimmten Taste). Zusammengefasst können der Körper, das Auge und der Finger eine mentale kognitive Aufmerksamkeit eines Benutzers aufzeigen (d. h. über was jemand denkt). Das System 200 kann eine Kombination aus Nähe, Bewegung und Laufvektor des Fingers verwenden, um eine Bestätigung bereitzustellen, die die Genauigkeit verbessert.
  • 3A bis 3C zeigen ein veranschaulichendes Beispiel einer Blickverfolgung zwischen einer Vielzahl von Oberflächenelementen. 3A zeigt ein Beispiel einer Blickverfolgung zwischen einer ersten Taste 342-A und einer zweiten Taste 342-B. Das Auge oder die Augen 320 eines Benutzers fixieren auf eine erste Taste oder ein erstes GUI-Element 342-A und schauen dann auf eine zweite Taste 342-B, und dann kehrt ihr Blick zu der ersten Taste 342-A zurück. In einer Ausführungsform vergrößert 363-2 und verkleinert 363-1 sich der aktive Bereich 363 über einen kurzen Zeitraum (z. B. <1 Sekunde). In dieser Ausführungsform, bei der der Benutzer zwischen Elementen 342 entscheidet und der Fokusbereich geteilt ist, kann das System 300 die Auslösezone oder den aktiven Bereich für die ersten Taste 342-A so anpassen, dass sie bzw. er für einen längeren Zeitraum (z. B. <1,5 Sekunden) mehr erweitert wird oder ihren bzw. seinen erweiterten Zustand beibehält, als wenn der Fokus zwischen der ersten Taste 342-A und einem Element außerhalb des Bildschirms 370 geteilt war. 3B zeigt die Erweiterung des aktiven Bereichs oder der Auslösezone (TZ) von seinem standardmäßigen oder normalen Zustand 363-1 zu einem erweiterten Zustand 363-2.
  • 3C zeigt einen Graphen dafür, wie sich die aktiven Bereiche oder Auslösezonen von zwei Oberflächenelementen im Laufe der Zeit (t) ändern. Wenn sich die Augenfixierung bewegt, erweitern und verkleinern sich die aktiven Bereiche oder Auslösezonen. In einem veranschaulichenden Beispiel fixiert ein Benutzer auf eine erste Taste in einem ersten Schritt. Dann erweitert sich der aktive Bereich oder die Auslösezone (TZ-A) für die erste Taste 342-A (z. B. von 100 % der visuellen Größe der Taste auf 110 %). Diese Erweiterung kann augenblicklich stattfinden oder schnell durchgeführt werden. In einem zweiten Schritt fixiert der Benutzer auf eine zweite Taste 342-B. Während sich die Fixierung des Benutzers bewegt, verkleinert sich der aktive Bereich für die erste Taste 342-A, und der aktive Bereich (TZ-B) für die zweite Taste 342-B erweitert sich. Die Erweiterung des aktiven Bereichs der zweiten Taste wird möglicherweise nicht so schnell durchgeführt, wie der aktive Bereich der ersten Taste erweitert wurde, sondern wird im Verhältnis zu der Abnahme des aktiven Bereichs der ersten Taste durchgeführt. Die Verkleinerung der ersten Taste 342-A ist möglicherweise nicht augenblicklich oder einheitlich, da das System 100 bestimmen kann, dass der Benutzer zwischen zwei Tasten oder Oberflächenelementen auswählt und zu der ersten Taste 342-A zurückkehren kann. In einem dritten Schritt kehrt der Fokus des Benutzers zu der ersten Taste 342A zurück, und der aktive Bereich, falls er verkleinert wurde, erweitert sich erneut. Optional kann sich der aktive Bereich der ersten Taste 342-A mehr oder für eine längere Zeit basierend auf der erneuten Fixierung des Benutzers auf die Taste erweitern, im Vergleich dazu, als auf die Taste für das erste Mal im ersten Schritt fokussiert wurde. 3B
  • 4 zeigt eine schematische Ansicht eines Systems 400 zur Berührungsstabilisierung in einem Fahrzeug 401. Das System kann einen Touchscreen 404, eine Augenverfolgungseinrichtung und einen Prozessor umfassen. Der Prozessor kann dazu ausgelegt sein, eine Oberfläche 440 der Touchscreen-Anzeige 404 mit einer Vielzahl von Elementen 442 zu befüllen. Jedes Element der Vielzahl 442 umfasst einen aktiven Bereich zum Registrieren einer Berührungsinteraktion durch den Benutzer 402. Der Prozessor kann dann einen Fokusbereich des Benutzers auf der Oberfläche 440 bestimmen. Dann den Fokusbereich mit den aktiven Bereichen der Vielzahl von Elementen 442 vergleichen, um einen fokussierten Satz zu bestimmen, der mindestens ein Element umfasst, das eine Auswahlschwelle überschreitet. Der Prozessor passt ferner die aktiven Bereiche der Vielzahl von Elementen 442 an, um die Auswahlschwelle mindestens eines Elements in dem fokussierten Satz zu erhöhen.
  • Das System 400 kann den Fokusbereich des Benutzers 402 auf der Oberfläche durch das Verfolgen der Augen des Benutzers unter Verwendung der Augenverfolgungseinrichtung bestimmen, um den Fokus oder den Blick 420 des Benutzers zu bestimmen, der durch das Messen einer Orientierung der Augen des Benutzers bezüglich des Touchscreens 404 bestimmt wird. Das System 400 kann ferner eine Fingerverfolgungseinrichtung umfassen, wobei das Bestimmen eines Fokusbereichs des Benutzers auf der Oberfläche das Verfolgen mindestens eines Fingers 422 unter Verwendung der Fingerverfolgungseinrichtung beinhaltet.
  • 5 zeigt Beispiele für die Anpassung von Elementen einer GUI. Das Anpassen der aktiven Bereiche oder Auslösebereiche kann das Anpassen der Größe der aktiven Bereiche 501, das visuelle Hervorheben der aktiven Bereiche 502 oder das Bewegen der aktiven Bereiche 503 umfassen. Zusätzlich können diese Anpassungen bei einer visuellen Repräsentation der Oberflächenelemente selbst durchgeführt werden. Das Erweitern der Auslösezone und nicht notwendigerweise das Ausdrücken von dieser als etwas Sichtbares für den Benutzer (d. h. Auslösezonen sind für den Benutzer nicht sichtbar), kann jedoch weniger störend für den Benutzer sein als das sichtbare Hervorheben oder die sichtbare Vergrößerung der Größe einer Taste.
  • Unterschiedliche Eigenschaften der Oberflächenelemente können bei der Bestimmung des Fokusbereichs angepasst werden. Einige Eigenschaften beinhalten Größe, Nutzung oder Priorität.
  • Bezüglich der Größe eines Oberflächenelements kann zum Beispiel der aktive Bereich eines GUI-Elements erweitert werden. Eine Übererweiterung kann jedoch bewirken, dass ein GUI-Element, wie etwa eine Taste, nicht mehr als eine Taste funktioniert. Die Erweiterung eines aktiven Bereichs oder einer Auslösezone sollte genug sein, um einen Mangel an Genauigkeit oder Präzision bei der versuchten Berührung zu berücksichtigen. Beispielsweise kann sich ein aktiver Bereich um 5 bis 15 % oder um 3 bis 10 mm in Abhängigkeit von der Anzeige, der Tastengröße oder den Proportionen erweitern. Die Anpassung des aktiven Bereichs kann für unterschiedliche GUI-Elemente unterschiedlich sein und nicht für jedes Element einheitlich sein. Beispielsweise kann der aktive Bereich eines Schiebereglers rechteckiger in Form sein als eine quadratische Taste.
  • Bezüglich der Nutzung, zum Beispiel auf einer Musikschnittstelle, kann ein Benutzer einen Ort auswählen, der gleichmäßig zwischen einer Abspiel-/Pausentaste und einer Liedüberspringungstaste fällt. Eine Ausführungsform des Verfahrens kann die Häufigkeit in Betracht ziehen, mit der jede Taste gedrückt wird, um die Auswahl jeder Taste zu augmentieren. Ein Verfahren kann auch darauf warten, dass eine mehrdeutige Auswahl aufgelöst wird. Beispielsweise kann ein Benutzer seinen Finger in Richtung seiner Fixierung berühren und schieben (d. h. die Konvergenz von visueller, kognitiver und propriozeptiver Aufmerksamkeit), und das Verfahren kann einen Sekundenbruchteil darauf warten, dass diese zusammenfallen. Ein Vorteil des Verfahrens besteht darin, dass durch das Erweitern der Auslösezone die Zeit reduziert werden würde, die ein Benutzer für das Auflösen der Mehrdeutigkeit und das Bewegen oder Ziehen seines Fingers in Richtung seiner Fixierung braucht. 5 zeigt den Aspekt des Ziehens eines Fingers 505 zu einem aktiven Bereich. In dieser Ausführungsform verwirft das System den anfänglichen Berührungspunkt und ermöglicht dem Finger, sich zu dem aktiven Bereich zu bewegen, um eine Fehlberührung zu vermeiden.
  • Ein anderes Verfahren für die Fehlerkorrektur kann das Mitteln des physischen Bereichs mit den aktiven Bereichen des fokussierten Satzes einbeziehen, um zu bestimmen, welches Element des fokussierten Satzes 504 das Berührungsziel ist. Wenn eine physische Interaktion vorgenommen wird, kann sie gegen die Elemente des fokussierten Satzes gewichtet werden. Falls beispielsweise der physische Bereich innerhalb des fokussierten Satzes liegt, kann er hoch gewichtet werden und die Auswahl des auszuführenden Elements bewirken. Falls der physische Bereich jedoch außerhalb des fokussierten Satzes liegt, kann sein Ort mit dem fokussierten Satz gemittelt werden, um einen dritten Ort zur Auswahl zu finden. Beispielsweise kann dies das nächstgelegene Element im fokussierten Satz zu dem physischen Bereich, ein Element auf halber Strecke zwischen dem Massezentrum des fokussierten Bereichs und dem physischen Bereich oder eine andere Berechnung sein.
  • Bezüglich der Priorität, zum Beispiel auf einer Navigationsschnittstelle, kann ein Benutzer einen Ort auswählen, der gleichmäßig zwischen einer Such- und einer Löschtaste auf einer Tastatur fällt. Eine Ausführungsform des Verfahrens kann in diesem Fall die aktuelle Stelle im Prozess des Benutzers verwenden, um die Auswahl jeder Taste zu augmentieren (z. B. falls der Benutzer mitten im Eingeben einer Adresse war, kann die Löschtaste im Vergleich zu einer Suchtaste bevorzugt werden, falls eine fünfstellige Postleitzahl eingegeben wurde). In einer anderen Ausführungsform kann das Verfahren 100 die Auslösezonen gemäß der wahrscheinlichsten Option anpassen. Beispielsweise können die aktiven Bereiche auf eine solche Weise erweitert werden, dass die Löschtaste eine größere Berührungsgenauigkeit erfordert und die Suchtaste weniger Genauigkeit erfordert (z. B. erweitert sich die Auslösezone der Suchtaste, um die Löschtaste zu überlappen, und komprimiert/reduziert die Löschauslösezone).
  • Mehr als ein Gewichtungsmechanismus kann verwendet werden, um zu bestimmen, wie die aktiven Bereiche oder Auslösebereiche von GUI-Elementen zu augmentieren sind. Und mehrere Algorithmen können parallel ausgeführt werden, um Ergebnisse zu erzeugen, die gewichtet und verwendet werden würden, um zu bestimmen, wie der aktive Bereich modifiziert wird.
  • Das System kann maschinelles Lernen beinhalten, das auf spezifischen Benutzern oder rein Nutzungsmustern unterschiedlicher GUI-Merkmale basiert. Unterschiedliche Benutzer können durch das Identifizieren des Benutzers durch seinen Autoschlüssel oder sein Smartphone unterschieden werden. Insbesondere falls ein Benutzer einen Smart-Zugang verwendet, um ein Fahrzeug zu entriegeln, oder sein Telefon koppelt, das mit dem Fahrzeugcomputer oder Entertainment-System gekoppelt ist. Ein Benutzer kann auch über eine Kamera authentifiziert werden. Ein maschineller Lernalgorithmus oder eine künstliche Intelligenzkomponente kann eine anfängliche Einrichtungsprozedur erfordern, die die Maschine an den eindeutigen Oberflächenauswahlmustern des Benutzers trainiert. Eingaben für das Training des maschinellen Lernens können Blick- und Fingerverfolgungsmessungen, Verweilzeit, Erfolgsraten, Interaktion, Präzision oder Genauigkeitsmetriken beinhalten.
  • Wenn ein maschineller Lernalgorithmus erneut trainiert wird, können Faktoren die Menge an Auslösezonenerweiterung und zeitbasierter Verkleinerung sowie die anderen Eingabemetriken (z. B. Erfolgsrate, Verweilzeit usw.) beinhalten. Maschinelles Lernen kann in der Cloud oder an Bord eines Fahrzeugs durchgeführt werden, wo Echtzeit-Leistung erhöht sein würde.
  • Zusätzlich kann Blickunterstützung oder der Grad an Blickunterstützung gemäß Erfahrung und Erfolg im Laufe der Zeit modifiziert werden. Beispielsweise können unter Verwendung von maschinellem Lernen zum Verfolgen von Genauigkeit und Präzision im Laufe der Zeit diese Daten verwendet werden, um den Grad an Blickunterstützung zu erhöhen oder zu verringern. Letztlich kann unter Verwendung von maschinellem Lernen der GUI-Inhalt optimiert werden (Größe, Ort usw.), um die Genauigkeit und Präzision zu verbessern (z. B. durch Bewegen von häufig verwendeten GUI-Elementen/Tasten näher an den Benutzer).
  • In einigen Ausführungsformen kann das System mit einem Steuermodul gekoppelt sein. Das Steuermodul kann unter Verwendung einer oder mehrerer Verarbeitungseinheiten, einer oder mehrerer Verarbeitungsvorrichtungen, beliebiger Mittel zur Verarbeitung, wie etwa einen Prozessor, einen Computer oder eine programmierbare Hardwarekomponente, implementiert werden, die gemäß angepasster Software betrieben werden kann. Gleichermaßen können die beschriebenen Funktionen der Steuermoduls ebenfalls in Software implementiert werden, die dann auf einer oder mehreren programmierbaren Hardwarekomponenten ausgeführt wird. Solche Hardwarekomponenten können einen Allzweckprozessor, einen Digitalsignalprozessor (DSP), einen Mikrocontroller usw. umfassen.
  • In einer Ausführungsform kann das System einen Speicher und mindestens einen Prozessor umfassen, der funktionsfähig mit dem Speicher gekoppelt ist und dazu ausgelegt ist, das oben erwähnte Verfahren durchzuführen.
  • Beliebige der vorgeschlagenen Verfahren können auf einem Computer implementiert werden. Das Verfahren kann als Anweisungen für einen Computer oder eine andere Einrichtung auf einem nichtflüchtigen computerlesbaren Medium gespeichert werden. Wenn das Medium durch einen Computer gelesen wird, kann das Verfahren durch den Computer oder eine beliebige Einrichtung, die mit dem Computer vernetzt ist, durchgeführt oder ausgeführt werden. Ein computerimplementiertes Verfahren kann einen Algorithmus basierend auf bestärkendem Lernen bereitstellen, um Benutzerverhalten unter einem anderen Kontext autonom zu lernen. Das Verfahren benötigt möglicherweise keine überwachten Annotationsdaten und kann effizient und automatisch an einem kleinen Satz von Daten adaptiv lernen. Es kann nützlicher werden, wenn es mit einer Sequenz von Entscheidungen und Aktionen umgeht, die ein gewöhnliches Nutzungsszenario sind, aber die Aufmerksamkeit des Benutzers ablenken.
  • Die Aspekte und Merkmale, die in Bezug auf ein bestimmtes der vorherigen Beispiele beschrieben sind, können auch mit einem oder mehreren der weiteren Beispiele kombiniert werden, um ein identisches oder ähnliches Merkmal dieses weiteren Beispiels zu ersetzen oder die Merkmale zusätzlich in das weitere Beispiel einzuführen.
  • Beispiele können ferner ein (Computer-) Programm sein oder sich auf dieses beziehen, das einen Programmcode beinhaltet, um eines oder mehrere der obigen Verfahren auszuführen, wenn das Programm auf einem Computer, einem Prozessor oder einer anderen programmierbaren Hardwarekomponente ausgeführt wird. Somit können Schritte, Operationen oder Prozesse von unterschiedlichen der oben beschriebenen Verfahren auch durch programmierte Computer, Prozessoren oder andere programmierbare Hardwarekomponenten ausgeführt werden. Beispiele können auch Programmspeichervorrichtungen abdecken, wie etwa digitale Datenspeichermedien, die maschinen-, prozessor- oder computerlesbar sind und maschinenausführbare, prozessorausführbare oder computerausführbare Programme und Anweisungen codieren und/oder enthalten. Programmspeichervorrichtungen können zum Beispiel digitale Speichervorrichtungen, magnetische Speichermedien wie etwa Magnetplatten und Magnetbänder, Festplattenlaufwerke oder optisch lesbare digitale Datenspeichermedien beinhalten oder sein. Andere Beispiele können auch Computer, Prozessoren, Steuereinheiten, (feld)programmierbare Logik-Arrays ((F)PLAs), (feld)programmierbare Gate-Arrays ((F)PGAs), Grafikprozessoreinheiten (GPU), anwendungsspezifische integrierte Schaltungen (ASICs), integrierte Schaltungen (ICs) oder System-on-Chip(SoC)-Systeme beinhalten, die programmiert sind, die Schritte der oben beschriebenen Verfahren auszuführen.
  • Es versteht sich ferner, dass die Offenbarung von mehreren Schritten, Prozessen, Operationen oder Funktionen, die in der Beschreibung oder in den Ansprüchen offenbart sind, nicht so aufgefasst werden soll, dass diese Operationen notwendigerweise von der beschriebenen Reihenfolge abhängen, sofern nichts anderes in dem individuellen Fall ausdrücklich angegeben ist oder aus technischen Gründen notwendig ist. Daher schränkt die vorherige Beschreibung die Ausführung von mehreren Schritten oder Funktionen nicht auf eine bestimmte Reihenfolge ein. Ferner in weiteren Beispielen kann ein einzelner Schritt, eine einzelne Funktion, ein einzelner Prozess oder eine einzelne Operation mehrere Unterschritte, Unterfunktionen, Unterprozesse oder Unteroperationen beinhalten und/oder in diese aufgeteilt werden.
  • Falls einige Aspekte in Bezug auf eine Vorrichtung oder ein System beschrieben wurden, sollten diese Aspekte als eine Beschreibung des entsprechenden Verfahrens verstanden werden. Beispielsweise kann ein Block, eine Vorrichtung oder einen Funktionsaspekt der Vorrichtung oder des Systems einem Merkmal, wie etwa einem Verfahrensschritt, des entsprechenden Verfahrens entsprechen. Dementsprechend sollen Aspekte, die in Bezug auf ein Verfahren beschrieben sind, auch als eine Beschreibung eines entsprechenden Blocks, eines entsprechenden Elements, einer Eigenschaft oder eines Funktionsmerkmals einer entsprechenden Vorrichtung oder eines entsprechenden Systems verstanden werden.
  • Die folgenden Ansprüche werden hiermit in die ausführliche Beschreibung aufgenommen, wobei jeder Anspruch für sich alleine als ein separates Beispiel stehen kann. Es sollte auch angemerkt werden, dass, obwohl sich in den Ansprüchen ein abhängiger Anspruch auf eine bestimmte Kombination mit einem oder mehreren anderen Ansprüchen bezieht, andere Beispiele auch eine Kombination des abhängigen Anspruchs mit dem Gegenstand eines beliebigen anderen abhängigen oder unabhängigen Anspruchs beinhalten können. Solche Kombinationen werden hiermit ausdrücklich vorgeschlagen, sofern in dem individuellen Fall nicht angegeben wird, dass eine bestimmte Kombination nicht beabsichtigt wird. Ferner sollten Merkmale eines Anspruchs auch für einen beliebigen anderen unabhängigen Anspruch eingeschlossen werden, selbst wenn dieser Anspruch nicht direkt als abhängig von diesem anderen unabhängigen Anspruch definiert wird.

Claims (13)

  1. Verfahren zur Stabilisierung einer Interaktion eines Benutzers mit einem Touchscreen, wobei das Verfahren umfasst: Befüllen einer Oberfläche der Touchscreen-Anzeige mit einer Vielzahl von Elementen, wobei ein Element der Vielzahl einen aktiven Bereich zum Registrieren einer Berührungsinteraktion durch den Benutzer umfasst; Bestimmen eines Fokusbereichs des Benutzers auf der Oberfläche; Vergleichen des Fokusbereichs mit den aktiven Bereichen der Vielzahl von Elementen, um einen fokussierten Satz zu bestimmen, der mindestens ein Element umfasst, das eine wahrscheinliche Auswahlschwelle überschreitet; Anpassen der aktiven Bereiche der Vielzahl von Elementen, um die wahrscheinliche Auswahlschwelle des mindestens einen Elements in dem fokussierten Satz zu reduzieren.
  2. Verfahren nach Anspruch 1, ferner umfassend: Bestimmen eines physischen Bereichs entsprechend der Interaktion des Benutzers mit dem Touchscreen, und Bestimmen eines Berührungsziels durch das Vergleichen des physischen Bereichs mit den aktiven Bereichen des fokussierten Satzes, Auswählen eines der Vielzahl von Elementen basierend auf dem Berührungsziel.
  3. Verfahren nach Anspruch 2, wobei das Bestimmen des Berührungsziels umfasst: Mitteln des physischen Bereichs mit den aktiven Bereichen des fokussierten Satzes, um zu bestimmen, welches Element des fokussierten Satzes das Berührungsziel ist.
  4. Verfahren nach Anspruch 2, wobei das Bestimmen des Berührungsziels umfasst: Verzögern der Auswahl des Berührungsziels, bis der physischen Bereich erneut mit einem aktiven Element des fokussierten Satzes ausgerichtet ist.
  5. Verfahren nach Anspruch 1, wobei das Anpassen der aktiven Bereiche eines von Folgendem umfasst: Anpassen der Größe der aktiven Bereiche, Bewegen der aktiven Bereiche oder visuelles Hervorheben der aktiven Bereiche.
  6. Verfahren nach Anspruch 1, wobei das Bestimmen eines Fokusbereichs umfasst: Verfolgen der Augen des Benutzers unter Verwendung einer Augenverfolgungseinrichtung, Bestimmen einer Orientierung der Augen des Benutzers bezüglich des Touchscreens, wobei die Orientierung der Augen des Benutzers einem ersten physischen Ort des Touchscreens entspricht, Messen einer Fokuszeit, in der die Augen des Benutzers die Orientierung einnehmen, Berechnen des Fokusbereichs auf dem Touchscreen, wobei die Berechnung die Orientierung des Auges und die Fokuszeit beinhaltet.
  7. Verfahren nach Anspruch 6, wobei das Bestimmen eines Fokusbereichs ferner umfasst: Verfolgen mindestens eines Fingers des Benutzers unter Verwendung einer Fingerverfolgungseinrichtung, wobei die Orientierung des mindestens einen Fingers des Benutzers einem zweiten physischen Ort des Touchscreens entspricht, Berechnen des Fokusbereichs auf dem Touchscreen, wobei die Berechnung ferner die Orientierung des mindestens einen Fingers des Benutzers beinhaltet.
  8. Verfahren nach Anspruch 7, ferner umfassend Berechnen des Fokusbereichs auf dem Touchscreen, bis ein physischer Bereich entsprechend der Interaktion des Benutzers mit dem Touchscreen bestimmt wird.
  9. System zur Stabilisierung einer Interaktion eines Benutzers mit einem Touchscreen, wobei das System umfasst: einen Touchscreen, eine Augenverfolgungseinrichtung, einen Prozessor, der ausgelegt ist zum: Befüllen einer Oberfläche der Touchscreen-Anzeige mit einer Vielzahl von Elementen, wobei ein Element der Vielzahl einen aktiven Bereich zum Registrieren einer Berührungsinteraktion durch den Benutzer umfasst; Bestimmen eines Fokusbereichs des Benutzers auf der Oberfläche; Vergleichen des Fokusbereichs mit den aktiven Bereichen der Vielzahl von Elementen, um einen fokussierten Satz zu bestimmen, der mindestens ein Element umfasst, das eine Auswahlschwelle überschreitet; Anpassen der aktiven Bereiche der Vielzahl von Elementen, um die Auswahlschwelle des mindestens einen Elements in dem fokussierten Satz zu erhöhen.
  10. System nach Anspruch 9, wobei die Augenverfolgungseinrichtung umfasst: eine Infrarot-Kamera, ein Headset.
  11. System nach Anspruch 9, wobei das Bestimmen des Fokusbereichs des Benutzers auf der Oberfläche umfasst: Verfolgen der Augen des Benutzers unter Verwendung der Augenverfolgungseinrichtung, Bestimmen einer Orientierung der Augen des Benutzers bezüglich des Touchscreens, wobei die Orientierung der Augen des Benutzers einem ersten physischen Ort des Touchscreens entspricht, Messen einer Fokuszeit, in der die Augen des Benutzers die Orientierung einnehmen, Berechnen des Fokusbereichs auf dem Touchscreen basierend auf der Orientierung des Auges und der Fokuszeit.
  12. System nach Anspruch 9, ferner umfassend eine Fingerverfolgungseinrichtung, wobei das Bestimmen eines Fokusbereichs des Benutzers auf der Oberfläche umfasst: Verfolgen mindestens eines Fingers des Benutzers unter Verwendung der Fingerverfolgungseinrichtung, wobei die Orientierung des mindestens einen Fingers des Benutzers einem zweiten physischen Ort des Touchscreens entspricht, Berechnen des Fokusbereichs auf dem Touchscreen basierend auf der Orientierung des mindestens einen Fingers des Benutzers.
  13. Nichtflüchtiges computerlesbares Medium, das einen Programmcode zum Durchführen des Verfahrens nach Anspruch 1 speichert, wenn der Programmcode auf einem Prozessor ausgeführt wird.
DE112022002985.4T 2021-06-09 2022-05-20 Verfahren, system und computerprogramm zur berührungsstabilisierung Pending DE112022002985T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/343,080 2021-06-09
US17/343,080 US20220397975A1 (en) 2021-06-09 2021-06-09 Method, apparatus, and computer program for touch stabilization
PCT/EP2022/063720 WO2022258348A1 (en) 2021-06-09 2022-05-20 Method, system, and computer program for touch stabilization

Publications (1)

Publication Number Publication Date
DE112022002985T5 true DE112022002985T5 (de) 2024-04-25

Family

ID=82117433

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112022002985.4T Pending DE112022002985T5 (de) 2021-06-09 2022-05-20 Verfahren, system und computerprogramm zur berührungsstabilisierung

Country Status (4)

Country Link
US (1) US20220397975A1 (de)
CN (1) CN117136347A (de)
DE (1) DE112022002985T5 (de)
WO (1) WO2022258348A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230333642A1 (en) * 2022-03-28 2023-10-19 Apple Inc. Calibrating a Gaze Tracker
US11853474B2 (en) 2022-05-05 2023-12-26 Google Llc Algorithmically adjusting the hit box of icons based on prior gaze and click information

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US8253705B2 (en) * 2009-05-08 2012-08-28 Research In Motion Limited Target zones for menu items on a touch-sensitive display
US20130145304A1 (en) * 2011-12-02 2013-06-06 International Business Machines Corporation Confirming input intent using eye tracking
US9778829B2 (en) * 2012-02-17 2017-10-03 Lenovo (Singapore) Pte. Ltd. Magnification based on eye input
US9235324B2 (en) * 2012-05-04 2016-01-12 Google Inc. Touch interpretation for displayed elements
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9001059B2 (en) * 2012-06-08 2015-04-07 Adobe Systems Incorporated Method and apparatus for choosing an intended target element from an imprecise touch on a touch screen display
JP2014026588A (ja) * 2012-07-30 2014-02-06 Fujitsu Ltd 情報処理装置、方法、及びプログラム
US20140247232A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Two step gaze interaction
US9280234B1 (en) * 2013-06-25 2016-03-08 Amazon Technologies, Inc. Input correction for touch screens
US9400553B2 (en) * 2013-10-11 2016-07-26 Microsoft Technology Licensing, Llc User interface programmatic scaling
EP3249497A1 (de) * 2016-05-24 2017-11-29 Harman Becker Automotive Systems GmbH Augenverfolgung
JP6589796B2 (ja) * 2016-09-27 2019-10-16 株式会社デンソー ジェスチャ検出装置
US10437328B2 (en) * 2017-09-27 2019-10-08 Igt Gaze detection using secondary input

Also Published As

Publication number Publication date
US20220397975A1 (en) 2022-12-15
CN117136347A (zh) 2023-11-28
WO2022258348A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
DE112022002985T5 (de) Verfahren, system und computerprogramm zur berührungsstabilisierung
US8120577B2 (en) Eye tracker with visual feedback
EP2877362B1 (de) Bedienschnittstelle, verfahren zum anzeigen einer eine bedienung einer bedienschnittstelle erleichternden information und programm
WO2017211817A1 (de) Bedienvorrichtung mit eyetrackereinheit und verfahren zum kalibrieren einer eyetrackereinheit einer bedienvorrichtung
WO2010046147A1 (de) Verfahren und vorrichtung zum anzeigen von in listen geordneter information
DE102008048825A9 (de) Anzeige- und Bediensystem in einem Kraftfahrzeug mit nutzerbeeinflussbarer Darstellung von Anzeigeobjekten sowie Verfahren zum Betreiben eines solchen Anzeige- und Bediensystems
EP1998996A1 (de) Interaktive bedienvorrichtung und verfahren zum betreiben der interaktiven bedienvorrichtung
EP2653335B1 (de) Verfahren und Vorrichtung zur Anzeige einer Hand eines Bedieners eines Bedienelements eines Fahrzeugs
DE102013227220A1 (de) Blindsteuerungssystem für fahrzeug
Prabhakar et al. Interactive gaze and finger controlled HUD for cars
DE102012020607B4 (de) Kraftwagen mit einer Gestensteuerungseinrichtung sowie Verfahren zum Steuern eines Auswahlelements
DE102017218120A1 (de) Verfahren zur Bereitstellung einer haptischen Rückmeldung an einen Bediener einer berührungssensitiven Anzeigeeinrichtung
DE102013011689A1 (de) Verfahren und Vorrichtung zum Verarbeiten von Berührungssignalen eines Touchscreens
DE102017121342A1 (de) Anzeigesteuerungsvorrichtung, anzeigesteuerungssystem und anzeigesteuerungsverfahren
WO2018234147A1 (de) Verfahren zum betreiben einer anzeigevorrichtung für ein kraftfahrzeug sowie kraftfahrzeug
DE102013100328A1 (de) Adaptives Schnittstellensystem
DE102015016443A1 (de) Berühungseingabeeinrichtung und Fahrzeug mit dieser
DE102017202533A1 (de) Berührungseingabegerät und Fahrzeug, welches dasselbe beinhaltet
WO2017108560A1 (de) Anzeigevorrichtung und bedieneinrichtung
DE102014222752A1 (de) Bedienung über Kopfrichtung als Ersatz zur Blickrichtung
DE102012218155A1 (de) Erleichtern der Eingabe auf einer berührungsempfindlichen Anzeige in einem Fahrzeug
DE102022107166B3 (de) Benutzerschnittstelle für ein Fahrzeug, Lenkrad für ein und Fahrzeug
DE102015202414B4 (de) Verfahren zur Anpassung einer Einstellung einer Heiz-/Klima-Funktion für ein Fortbewegungsmittel
DE102022127643A1 (de) System zum ausführen einer visuellen erkennung und einer fahrzeuganpassung
DE102022133389A1 (de) Verfahren und system zum erfassen von benutzereingaben