DE102016121032A1

DE102016121032A1 - Gestenbasierte Interaktion zwischen Fahrzeug und Benutzer

Info

Publication number: DE102016121032A1
Application number: DE102016121032.3A
Authority: DE
Inventors: Joseph F. Szczerba; Tricia E. Neiiendam; Peng Lu; Xiaosong Huang
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2015-11-03
Filing date: 2016-11-03
Publication date: 2017-05-04
Also published as: US20170120932A1; CN106945634A

Abstract

Ein System zur Verwendung beim Implementieren einer Fahrzeugfunktion auf der Grundlage einer Benutzergeste, das eine hardwarebasierte Verarbeitungseinheit und ein hardwarebasiertes Speichergerät enthält. Das Speichergerät enthält ein Modul zur Bestimmung einer Benutzergeste, das, wenn es von der hardwarebasierten Verarbeitungseinheit ausgeführt wird, eine Benutzergeste bestimmt, die von einem Benutzer in der Nähe eines Fahrzeugs ausgeführt wurde, wobei die Benutzergeste kein Fußstoß des Benutzers unter das Fahrzeug ist. Das Speichergerät enthält außerdem ein Modul zur Identifikation einer Fahrzeugfunktion, das, wenn es von der hardwarebasierten Verarbeitungseinheit ausgeführt wird, eine Fahrzeugfunktion bestimmt, die der bestimmten Benutzergeste vorab zugeordnet wurde. Das Speichergerät enthält ferner ein Modul zur Aktivierung einer Fahrzeugfunktion, das, wenn es von der hardwarebasierten Verarbeitungseinheit ausgeführt wird, das Ausführen der identifizierten Fahrzeugfunktion einleitet. In verschiedenen Ausführungsformen enthält die Technologie das Speichergerät und Prozesse, welche beliebige der beschriebenen Operationen enthalten.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft allgemein Systeme und Verfahren, die auf Gesten beruhende Kommunikationen zwischen einer Vorrichtung und einem gestikulierenden Benutzer ermöglichen, und insbesondere Systeme und Verfahren, die auf Gesten basierende Kommunikationen zwischen einem gestikulierenden Benutzer und einem Fahrzeug ermöglichen.
HINTERGRUND
Moderne Fahrzeuge weisen zahlreiche elektronische Merkmale auf, die der Bequemlichkeit und Sicherheit zuträglich sind. Ein grundlegendes Beispiel ist die Verriegelungs-/Entriegelungsfunktion des Fahrzeugs, die durch einen Knopfdruck eines Benutzers an einem tragbaren Schlüsselanhänger oder einem am Fahrzeug angebrachten Tastenfeld betätigt werden kann. Benutzer sparen Zeit dadurch, dass sie keinen herkömmlichen Schlüssel mehr in das Fahrzeug einstecken müssen.
Schlüsselanhängersysteme können für Benutzer sicherer sein als herkömmliche Schlüssel, da die Benutzer die Schlüssel nicht aus ihrer Tasche herausholen müssen, oder sie zumindest nicht in das Fahrzeug einstecken müssen. Ein Tastenfeldsystem kann sicherer sein, da Benutzer überhaupt nicht nach ihrem Schlüssel oder Schlüsselanhänger suchen müssen, etwa am Abend auf einem Parkplatz eines Lebensmittelgeschäfts.
Die meisten Schlüsselanhänger weisen auch einen Knopf auf, der ermöglicht, dass ein Benutzer einen Fahrzeugalarm erzeugt. In den meisten Fällen wird eine Fahrzeughupe zyklisch betätigt, bis der Alarm ausgeschaltet oder seine Zeit abgelaufen ist. Viele Schlüsselanhänger enthalten außerdem einen Knopf, der es ermöglicht, dass der Benutzer den Kofferraum oder die Heckklappe hochklappt.
Ein weiteres neues Fahrzeugmerkmal ist die durch Fußstoß aktivierte Heckklappe. Ein oder mehrere Sensoren an der Unterseite des Fahrzeugs lösen das Öffnen der Heckklappe aus, wenn sie einen Benutzerfuß erfassen, der unter die hintere Stoßstange geschoben wird. Das Merkmal erfordert, dass das Fahrzeug zunächst die Heckklappe entriegelt, etwa in Ansprechen darauf, dass es feststellt, dass sich der Schlüsselanhänger in der Nähe befindet. Das Merkmal ist angenehm, wenn ein Benutzer seine Hände voll mit Gegenständen hat, die auf der Ladefläche platziert werden sollen, und sicherer, da der Benutzer keinen Schlüsselanhänger suchen oder betätigen muss, um die Heckklappe zu öffnen.
ZUSAMMENFASSUNG
Die Systeme und Verfahren der vorliegenden Offenbarung ermöglichen, dass Benutzer Fahrzeugfunktionen durch Körpergesten aktivieren, etwa durch Hand- oder Armgesten. Der Begriff ”Geste” wird nicht in einem eingeschränkten Sinn verwendet und kann jede Bewegung umfassen.
Die Systeme und Verfahren ermöglichen daher die Aktivierung von derartigen Funktionen mit freien Händen, ohne beispielsweise die Notwendigkeit zum Eintippen eines Codes, zum Verwenden eines Fingerabdrucks oder des Bedarfs für einen herkömmlichen Schlüsselanhänger. Auf diese Weise wird die herkömmliche Vorstellung der Schnittstelle zwischen Benutzer und Fahrzeug oder zwischen Mensch und Maschine (UVI oder HMI) zum verbesserten Wohlbefinden, zur erhöhten Sicherheit und für ein verbessertes Gesamterlebnis des Benutzers erweitert.
In verschiedenen Ausführungsformen kommuniziert ein am Körper tragbares Gerät, das von dem Benutzer am Körper getragen wird, mit dem Fahrzeug, um Fahrzeugfunktionen einzuleiten. Das am Körper tragbare Gerät ist in einigen Ausführungsformen ausgestaltet, um verschiedene Signale an das Fahrzeug auf der Grundlage von Benutzerbewegungen zu senden, welche das am Körper tragbare Gerät miteinbeziehen.
Eine erste Bewegung eines Benutzerarms, der ein computergestütztes, am Körper tragbares Gerät trägt, etwa einen Armreif oder eine intelligente Uhr, kann veranlassen, dass der Armreif oder die Uhr in Ansprechen auf die erste Bewegung ein erstes korrespondierendes Signal an das Fahrzeug sendet, um beispielsweise Türen zu entriegeln. Eine zweite Bewegung des Benutzerarms kann veranlassen, dass der Armreif oder die Uhr in Ansprechen auf die zweite Bewegung ein zweites korrespondierendes Signal an das Fahrzeug sendet, um beispielsweise einen Notruf einzuleiten, etwa durch eine auf Mobilfunk oder auf Satelliten beruhende Kommunikation.
Beispielhafte Fahrzeugfunktionen umfassen wie erwähnt das Einleiten eines Notrufs oder das Verriegeln oder Entriegeln einer oder mehrerer Türen, das Senden einer Text-, Multimedia- oder Emailbotschaft, das Einschalten (Beleuchten)/Ausschalten oder Blinken lassen von Fahrzeugleuchten (z. B. Leuchten unter dem Fahrzeug, Innenleuchten, Standardscheinwerfer an der Front und am Heck und/oder andere), das Betätigen einer Fahrzeughupe, das Ermitteln eines Aufenthaltsorts des Fahrzeugs, das Übertragen des Aufenthaltsorts des Fahrzeugs (etwa durch den Notruf, den Text oder die Email), das Einleiten einer Videoaufnahme, etwa einer Umgebung. die den Benutzer umfasst, (etwa in einer Situation, in der sich der Benutzer unsicher fühlt), und das Übertragen des Videos (etwa durch den Notruf, den Text oder die E-Mail).
Kommunikationen können an ein entferntes System gesendet werden, etwa eine Fernruf- oder Steuerungszentrale wie das System OnStar^®. Derartige Zentralen weisen Möglichkeiten zur Interaktion mit Mitgliedern eines Fahrzeugagententeams und deren Benutzerteammitgliedern über Weitbereichskommunikationen auf, etwa über Satelliten- oder Mobilfunkkommunikationen. OnStar ist eine eingetragene Marke der OnStar Corporation, einer Tochter der General Motors Company.
Das Fahrzeug ist in einigen Ausführungsformen ausgestaltet, um eine Bewegung des am Körper tragbaren Geräts zu erfassen und darauf zu antworten, während das Gerät gerade außerhalb des Fahrzeugs bewegt wird, sowie um eine Bewegung des am Körper tragbaren Geräts auch dann zu erfassen und darauf zu antworten, während das Gerät gerade innerhalb des Fahrzeugs bewegt wird.
Das Fahrzeug ist in einigen Ausführungsformen ausgestaltet, um Hand- oder Armgesten des Benutzers sogar in einigen Fällen zu erfassen und darauf zu antworten, in denen kein am Körper tragbares Gerät beteiligt ist. Das Fahrzeug kann ausgestaltet sein, um in Ansprechen auf eine erste Bewegung einer Benutzerhand oder eines Benutzerarms – auch ohne Armreif, Uhr, usw. – zu veranlassen, dass das Fahrzeug eine erste korrespondierende Funktion ausführt (z. B. die Türen verriegeln); um in Ansprechen auf eine zweite Bewegung der Benutzerhand oder des Benutzerarms eine zweite korrespondierende Funktion auszuführen (z. B. eine Textbotschaft senden); usw.
In betrachteten Ausführungsformen ist das Fahrzeug ausgestaltet, um auf ähnliche Weise Gesten zu erfassen und darauf zu antworten, die mit anderen Körperteilen des Benutzers ausgeführt werden, zusätzlich zu oder anstelle der Hände und Arme. Beispielsweise kann das Fahrzeug ausgestaltet sein, um Bewegungen des Kopfs zu erfassen und darauf zu antworten, während sich der Benutzer innerhalb des Fahrzeugs befindet, und/oder ausgestaltet sein, um Bewegungen des Kopfs zu erfassen und darauf zu antworten, wenn sich der Benutzer außerhalb des Fahrzeugs befindet.
Andere Aspekte der vorliegenden Erfindung werden sich teilweise offenbaren und teilweise hier nachstehend dargelegt werden.
BESCHREIBUNG DER ZEICHNUNGEN
1 veranschaulicht auf schematische Weise eine beispielhafte Computerarchitektur in Übereinstimmung mit einer Ausführungsform der vorliegenden Offenbarung.
2 zeigt beispielhafte Speicherkomponenten der Computerarchitektur von 1.
3 zeigt ein beispielhaftes am Körper tragbares Gerät, das von einem Benutzer am Körper getragen wird, und beispielhafte Benutzerbewegungen in Übereinstimmung mit Ausführungsformen der vorliegenden Technologie.
4 zeigt ein beispielhaftes Verfahren in Übereinstimmung mit Ausführungsformen der vorliegenden Technologie.
5 zeigt Eingaben und Ausgaben eines beispielhaften Systems in Übereinstimmung mit Ausführungsformen der vorliegenden Technologie.
Die Figuren sind nicht unbedingt maßstabsgetreu und einige Merkmale können hervorgehoben oder minimiert sein, um Details von speziellen Komponenten zu zeigen.
GENAUE BESCHREIBUNG
Wie gefordert sind hier detaillierte Ausführungsformen der vorliegenden Offenbarung offenbart. Die offenbarten Ausführungsformen sind nur Beispiele, die in verschiedenen und alternativen Formen und Kombinationen daraus ausgeführt sein können. Die Begriffe Beispiel, beispielhaft und ähnliche Begriffe bezeichnen, so wie sie hier verwendet werden, umfassend Ausführungsformen, die als Veranschaulichung, Beispiel, Modell oder Muster dienen.
In einigen Fällen wurden gut bekannte Komponenten, Systeme, Materialien oder Verfahren nicht im Detail beschrieben, um das Verschleiern der vorliegenden Offenbarung zu vermeiden. Spezielle strukturelle und funktionale Details, die hier offenbart sind, dürfen daher nicht als Einschränkung interpretiert werden, sondern nur als eine Basis für die Ansprüche und als repräsentative Basis zur Unterrichtung des Fachmanns darüber, wie die vorliegende Offenbarung eingesetzt werden kann.
I. Einleitung
Die Systeme der vorliegenden Offenbarung enthalten in verschiedenen Ausführungsformen speziell ausgestaltete Fahrzeugvorrichtungen und in einigen Implementierungen speziell ausgestaltete von einem Benutzer am Körper tragbare Geräte.
Fahrzeugvorrichtungen enthalten beliebige von ausgewählten Sensoren und Kommunikationsempfängern zum Empfangen von Benutzereingaben, speziell programmierte Rechenkomponenten zur Bestimmung von Fahrzeugfunktionen, die mit Benutzereingaben korrespondieren, und Ausgabekomponenten zum Aktivieren oder Betätigen der identifizierten Fahrzeugfunktionen.
Am Körper tragbare Geräte sind in verschiedenen Ausführungsformen ausgestaltet, um auf der Grundlage einer Bewegung des Benutzers Signale zum Empfang durch das Fahrzeug zu erzeugen und zu senden. Die Fahrzeugvorrichtung ist ausgestaltet, um auf die Signale des am Körper tragbaren Geräts zu antworten, indem sie eine korrespondierende Funktion aktiviert oder betätigt, etwa das Blinken von Fahrzeugleuchten oder das Einleiten eines Telefonanrufs.
Obwohl die vorliegende Technologie hier primär in Verbindung mit Kraftfahrzeugen beschrieben ist, ist die Technologie nicht auf diesen Fokus beschränkt. Die Konzepte können auf eine große Vielfalt von Anwendungen erweitert werden, etwa Flugzeuge, Wasserfahrzeuge, Fertigungsmaschinen oder Geräte, Haushaltsanwendungen, dergleichen und andere.
In Verbindung mit 1 und 2 werden nun beispielhafte Systeme beschrieben und schematisch gezeigt.
II. Fahrzeugeigene Rechenarchitektur – Fig. 1
Mit Bezug nun auf die Figuren und speziell auf die erste Figur, veranschaulicht 1 ein computerbasiertes System 100, etwa einen On-Board-Computer (OBC) eines Fahrzeugs 102.
In einer betrachteten Ausführungsform ist ein Teil oder das gesamte Rechensystem 100 bei einer entfernten Anruf- oder Steuerungszentrale positioniert, wie dem erwähnten System OnStar^®.
Das computerbasierte System 100 von 1 kann auch ein Modell für andere elektronische Systeme der vorliegenden Technologie sein, etwa für ein am Körper tragbares Gerät – z. B. ein intelligenter Armreif, Ring, Manschettenknopf, Gürtelanhänger, Schuh- oder Stiefelanhänger (Fußbekleidungsanhänger), Beinbekleidung, Armbekleidung, Bekleidung allgemein, Ohrhörer, Geräte am Kopf, Hüte oder andere Kopfbedeckung, eine Uhr, eine Brille, eine Sonnenbrille, Ohrringe usw. – wie nachstehend in Verbindung mit 3 weiter beschrieben wird.
Im vorliegenden Abschnitt wird das computerbasierte System 100 primär als ein On-Board-Computer (OBC) eines Fahrzeugs beschrieben. Der OBC 100 kann eine primäre Recheneinheit des Fahrzeugs 102 oder ein Teil davon sein, etwa eine elektronische Steuerungseinheit (ECU) des Fahrzeugs 102.
Die Systeme und Komponenten desselben können hardwarebasiert sein. Der OBC 100 enthält ein computerlesbares Speichermedium oder ein Datenspeichergerät 104 und er enthält außerdem eine Hardwareverarbeitungseinheit 106, die mit dem computerlesbaren Speichergerät 104 mit Hilfe einer Kommunikationskopplung 108, etwa mit einem Computerbus, verbunden ist oder verbunden werden kann.
Die Hardwareverarbeitungseinheit 106 kann mehrere Prozessoren enthalten oder daraus bestehen, welche verteilte Prozessoren oder parallele Prozessoren in einer einzigen Maschine oder in mehreren Maschinen umfassen können. Die Hardwareverarbeitungseinheit kann zur Unterstützung einer virtuellen Verarbeitungsumgebung verwendet werden. Die Hardwareverarbeitungseinheit kann eine Zustandsmaschine, eine anwendungsspezifische integrierte Schaltung (ASIC), ein programmierbares Gatearray (PGA), das ein Feld-PGA umfasst, oder eine Zustandsmaschine umfassen. Bezugnahmen hierin darauf, dass die Hardwareverarbeitungseinheit Code oder Anweisungen ausführt, um Operationen, Handlungen, Aufgaben, Funktionen, Schritte oder dergleichen auszuführen, können umfassen, dass die Hardwareverarbeitungseinheit die Operationen direkt ausführt und/oder dass sie das Zusammenarbeiten mit einem anderen Gerät oder einer anderen Komponente ermöglicht oder lenkt, um die Operationen auszuführen.
In verschiedenen Ausführungsformen ist das Datenspeichergerät ein beliebiges von einem flüchtigen Medium, einem nicht flüchtigen Medium, einem ausbaubaren Medium und einem nicht ausbaubaren Medium. Der Begriff computerlesbare Medien und Varianten desselben bezeichnet, so wie er in der Beschreibung und den Ansprüchen verwendet wird, konkrete Speichermedien. Die Medien können ein Gerät sein und sie können nicht vorübergehend sein.
In einigen Ausführungsformen enthalten die Speichermedien flüchtige und/oder nicht flüchtige, ausbaubare oder nicht ausbaubare Medien, beispielsweise etwa einen Speicher mit wahlfreiem Zugriff (RAM), einen Festwertspeicher (ROM), einen elektrisch löschbaren, programmierbaren Festwertspeicher (EEPROM), einen Halbleiterspeicher oder eine andere Speichertechnologie, eine CD-ROM, eine DVD, eine BLU-RAY oder einen anderen optischen Plattenspeicher, ein Magnetband, einen Magnetplattenspeicher oder andere Magnetspeichergeräte.
Das Datenspeichergerät 104 enthält ein oder mehrere Speichermodule, die von einem Computer lesbare Anweisungen speichern, welche von dem Prozessor 106 ausgeführt werden können, um die hier beschriebenen Funktionen des OBC 100 auszuführen.
Beispielsweise enthält das Datenspeichergerät 104 Module 110 einer teambasierten Fahrzeug-Maschinenumgebung. Das Datenspeichergerät 104 enthält in einigen Ausführungsformen auch Zusatz- oder Unterstützungskomponenten 112, etwa zusätzliche Software und/oder Daten, die das Ausführen der Verfahren der vorliegenden Offenbarung unterstützen.
Das Fahrzeug 102 enthält außerdem ein Kommunikationsteilsystem 114 zur Kommunikation mit externen Geräten. Wenn in Benutzer einen Notruf oder eine Textbotschaft anhand einer Geste einleitet – unabhängig davon, ob ein am Körper tragbares Gerät bewegt wird oder einfach durch eine Körperbewegung – kann das Fahrzeug 102 das Kommunikationsteilsystem 114 verwenden, um den Anruf auszuführen oder die Textbotschaft zu senden.
Das Kommunikationsteilsystem 114 kann eine drahtgebundene Eingabe/Ausgabe (I/O) 116, mindestens einen drahtlosen Weitbereichs-Sender/-Empfänger 118, und mindestens einen drahtlosen Nahbereichs-Sender/-Empfänger 120 enthalten. Andere Anschlüsse 122, 124 sind schematisch gezeigt, um zu betonen, dass das System ausgestaltet sein kann, um andere Typen von drahtgebundenen oder drahtlosen Kommunikationen aufzunehmen.
Das Fahrzeug 102 enthält außerdem ein Sensorteilsystem 126, das Sensoren umfasst, die Informationen an den OBC 100 liefern, etwa Informationen, welche die Anwesenheit und die Bewegung eines Benutzers in der Nähe des Fahrzeugs anzeigen. Das Fahrzeug 102 kann so ausgestaltet sein, dass der OBC 100 mit Sensoren des Sensorteilsystems 126 über drahtgebundene oder drahtlose Nahbereichs-Kommunikationskopplungen 116, 120 kommuniziert oder zumindest von diesen Signale empfängt.
In einigen Ausführungsformen enthält das Sensorteilsystem 126 mindestens eine Kamera 128 und mindestens einen Abstandssensor 130. Abstandssensoren, die typischerweise zum Unterstützen von Fahrfunktionen verwendet werden, können einen Nahbereichsradar (SRR), einen Ultraschallsensor, einen Weitbereichsradar, etwa diejenigen, die in autonomen Systemen oder Systemen mit adaptiver Geschwindigkeitsregelung (ACC-Systemen) verwendet werden, oder einen Lichtdetektions- und Abstandssensor (LiDAR-Sensor) umfassen.
Die schematisch gezeigte Kamera 128 kann eine oder mehrere Kameras repräsentieren, die an einer beliebigen geeigneten oder angemessenen Stelle des Fahrzeugs 102 positioniert ist/sind, etwa an Seitenspiegeln des Fahrzeugs, benachbart zu oder an Türgriffen, an einer Heckklappe, aus Front- und/oder Heckscheinwerfern des Fahrzeugs heraus gerichtet usw.
Jede Kamera 128 ist ausgestaltet, um die Anwesenheit eines Benutzers und in einigen Ausführungsformen eine Bewegung des Benutzers zu erfassen. Sie können alle bewegbar sein, etwa von einem Aktor automatisch bewegt werden, der von dem Computersystem 100 gesteuert wird, um einen Benutzer zu verfolgen, der sich in der Nähe des Fahrzeugs bewegt. Kameras können in Verbindung mit anderen Sensoren verwendet werden, etwa lasergestützten Bewegungsdetektionssensoren, um Benutzergesten zu erkennen.
Sensoren, die eine Benutzerbewegung mit Gesten erfassen, können in eine beliebige einer Vielfalt von Richtungen orientiert sein, ohne den Umfang der vorliegenden Offenbarung zu verlassen. Beispielsweise können Kameras 128 und Radar 130 an jeder oder an einer ausgewählten Position orientiert sein von beispielsweise: (i) von einem vorderen Mittelpunkt des Fahrzeugs 102 aus nach vorne gerichtet, (ii) von einem hinteren Mittelpunkt des Fahrzeugs 102 aus nach hinten gerichtet, (iii) von einer Seitenposition des Fahrzeugs 102 aus quer zum Fahrzeug gerichtet, und (iv) diagonal ausgerichtet – z. B. zwischen einer Richtung nach vorne und direkt zur Seite des Fahrzeugs 102.
Der Weitbereichs-Sender/Empfänger 118 ist in einigen Ausführungsformen ausgestaltet, um Kommunikationen zwischen dem OBC 100 und einem Satelliten- und/oder einem Mobilfunk-Telekommunikationsnetzwerk zu ermöglichen. Der Nahbereichs-Sender/Empfänger 120 ist ausgestaltet, um Nahbereichskommunikationen zu ermöglichen, etwa Kommunikationen mit anderen Fahrzeugen, Kommunikationen von Fahrzeug zu Fahrzeug (V2V) und Kommunikationen mit einer Transportsysteminfrastruktur (V2I).
Zur Kommunikation von V2V, V2I, mit einer Infrastruktur am Straßenrand oder einer anderen Infrastruktur (V2I), oder mit anderen Geräten außerhalb des Fahrzeugs (V2X), etwa mit lokalen Kommunikationsroutern usw., kann der Nahbereichskommunikations-Sender/Empfänger 120 ausgestaltet sein, um mit Hilfe von einem oder mehreren Nahbereichs-Kommunikationsprotokollen zu kommunizieren. Beispielhafte Protokolle umfassen dedizierte Nahbereichskommunikationen (DSRC), WI-FI^®, BLUETOOTH^®, Infrarot, Infrarot-Datenassoziation (IRDA), Nahfeldkommunikationen (NFC), dergleichen oder Verbesserungen derselben (WI-FI ist eine eingetragene Marke der WI-FI Alliance aus Austin, Texas, BLUETOOTH ist eine eingetragene Marke der Bluetooth SIG, Inc., aus Bellevue, Washington).
Die sich außerhalb des Fahrzeugs befindenden Geräte oder externen Geräte, mit denen der OBC 100 beim Ausführen der Funktionen der vorliegenden Technologie kommunizieren kann, können eine Fernsteuerungszentrale umfassen. Die Steuerungszentrale kann die Steuerungszentrale des erwähnten OnStar^®-Systems sein.
Andere Sensorteilsysteme 126 umfassen eine Trägheitsmomenteinheit (IMU) 132, die hauptsächlich zur Unterstützung von autonomen Fahrfunktionen verwendet wird, etwa eine, die einen oder mehrere Beschleunigungsmesser aufweist, und/oder andere derartige dynamische Fahrzeugsensoren 134, etwa einen Radsensor oder einen Sensor, der einem Lenkungssystem des Fahrzeugs 102 zugeordnet ist, (z. B. einem Lenkrad).
III. Datenspeichergeräte und beispielhafte am Körper tragbare Geräte – Fig. 2 und Fig. 3
2 zeigt das Datenspeichergerät 104 von 1 in größerem Detail. Die Komponenten des Datenspeichergeräts 104 werden nun mit Bezug auf die Figur weiter beschrieben.
III. A. Speicherkomponenten
Wie erwähnt enthält das Datenspeichergerät 104 ein oder mehrere Module 110. Und der Speicher kann außerdem Zusatzkomponenten 112 enthalten, etwa zusätzliche Software und/oder Daten, welche das Ausführen der Verfahren der vorliegenden Offenbarung unterstützen.
Die Zusatzkomponenten 112 können beispielsweise ein oder mehrere Benutzerprofile umfassen. Die Profile können standardmäßig und/oder kundenspezifisch eingestellte Einstellungen für einen oder mehrere Benutzer (z. B. Fahrer) des Fahrzeugs umfassen. Diese und andere Datenkomponenten werden hier an anderer Stelle nachstehend in Verbindung mit den Betriebsverfahren 400 beschrieben. Auf diese Weise kann die Technologie personalisiert oder an Kunden angepasst werden.
Die Module 110 können mindestens drei (3) Module 202, 204, 206 umfassen, die im nächsten Abschnitt weiter beschrieben werden. In einer Ausführungsform umfassen die Module 110 ein oder mehrere zusätzliche Module. Einige Anweisungen können Teil von mehr als einem Modul sein und hier beschriebene Funktionen können ausgeführt werden, indem ein Prozessor die korrespondierenden mehreren Module ausführt.
Funktionen, die hier beschrieben werden, aber nicht ausdrücklich in Verbindung mit einem der drei Module 202, 204, 206, können Teil von einem der drei Module und/oder Teil von einem oder mehreren zusätzlichen Unterstützungsmodulen 208 sein. Das/die Unterstützungsmodule 208 können beispielsweise ein Benutzeridentifikationsmodul, ein Beifahreridentifikationsmodul, ein Lernmodul (um beispielsweise den Gestenstil eines Benutzers oder eine natürliche Bewegung oder Gestentypen des Benutzers zu lernen, um die Effizienz und die Effektivität oder die Interaktion zwischen Benutzer und System zu verbessern) und/oder ein Empfehlungs-, Vorschlags- oder Unterrichtungsmodul (z. B., um eine Anweisung für einen Benutzer darüber bereitzustellen, wie er gestikulieren soll, um gewählte Fahrzeugfunktionen auszulösen, um die Effizienz und Effektivität oder die Interaktion zwischen Benutzer und System zu verbessern) umfassen.
Jedes der Module kann durch einen beliebigen einer Vielfalt von Namen bezeichnet werden, etwa durch einen Begriff oder einen Ausdruck, der dessen Funktion anzeigt. Die Module 202, 204, 206 des vorliegenden Systems 100 können zum Beispiel als:
ein Modul 202 zur Bestimmung einer Benutzergeste;
ein Modul 204 zur Identifikation einer Fahrzeugfunktion;
ein Modul 206 zur Aktivierung einer Fahrzeugfunktion;
dergleichen oder anders bezeichnet werden.
2 zeigt ein zusätzliches Modul mit dem Bezugszeichen 208, um explizit zu zeigen, dass das System 100 ein oder mehrere zusätzliche Module enthalten kann.
Beliebige der Module können Teilmodule enthalten, die etwa durch Bezugszeichen 210, 212, 214, 216 in Verbindung mit dem zweiten dargestellten Modul 204 gezeigt sind. Teilmodule führen spezielle Operationen oder Routinen von Modulfunktionen aus.
III. A. i. Modul 202 zur Bestimmung einer Benutzergeste
Die Hardwareverarbeitungseinheit 106 ermittelt beim Ausführen des Moduls 202 zur Bestimmung einer Benutzergeste auf der Grundlage von Benutzereingabedaten, welche Geste ein Benutzer ausgeführt hat. Die Benutzereingabedaten können eine oder mehrere Datenkomponenten umfassen. Die Benutzereingabedaten werden an der Hardwareverarbeitungseinheit 106, welche das Modul 202 ausführt, von einer oder mehreren einer Vielfalt von Datenquellen empfangen.
Beispielhafte Datenquellen umfassen einen oder mehrere Sensoren von einem am Körper tragbaren Gerät, das von dem Benutzer am Körper getragen wird, und einen oder mehrere andere Sensoren, etwa des Fahrzeugs 102, die ausgestaltet und angeordnet sind, um eine Bewegung von einem oder mehreren Körperteilen des Benutzers zu erfassen, etwa eines Arms, eines Handgelenks, eines Kopfs usw. des Benutzers.
Das am Körper tragbare Gerät kann nur als ein paar Beispiele einen intelligenten Armreif, Ring, Manschettenknopf, Gürtelanhänger, Schuh- oder Stiefelanhänger (Fußbekleidungsanhänger), Beinbekleidung, Armbekleidung, Bekleidung allgemein, Kopfhörer, Geräte am Kopf, einen Hut oder eine andere Kopfbedeckung, eine Brille, Ringe, eine Sonnenbrille, oder eine Uhr umfassen.
In 3 ist ein beispielhaftes am Körper tragbares Gerät in der Form eines intelligenten Armreifs durch Bezugszeichen 300 bezeichnet. Wie erwähnt, kann das Gerät 300 ein computergestütztes oder elektronisches Gerät sein, das beliebige Komponenten analog zu denjenigen aufweist, die in 1 und 2 gezeigt sind – z. B. eine Speichereinheit, die ausführbare Anweisungen umfasst, und eine Verarbeitungseinheit zum Ausführen der Anweisungen. 1 und 2 werden folglich zusätzlich dazu, dass sie Fahrzeugmerkmale anzeigen, auch aus einer anderen Perspektive betrachtet, in der die Merkmale von am Körper tragbaren Geräten gezeigt sind. Der Kürze halber ist eine separate Figur, die eine weitere Recheneinheit wie diejenige von 1 und 2 zeigt, nicht gezeigt.
In verschiedenen Ausführungsformen umfasst das am Körper tragbare Gerät 300 mindestens einen Sender oder Sender/Empfänger-Komponenten, um zumindest Signale oder Botschaften an das Fahrzeug zu senden, etwa Signale oder Botschaften, die Benutzergesten entsprechen. Der Sender/Empfänger kann beliebige der Qualitäten aufweisen, die vorstehend für die Kommunikationskomponenten von 1 beschrieben sind, oder andere Eigenschaften. Der Sender/Empfänger kann beispielsweise ausgestaltet sein, um in Übereinstimmung mit beliebigen einer großen Vielfalt von Protokollen zu kommunizieren, welche BLUETOOTH^®, Infrarot, Infrarot-Datenassoziation (IRDA), Nahfeldkommunikationen (NFC) dergleichen oder Verbesserung derselben umfassen.
Beispielhafte Bewegungen 302 umfassen Drehungen in eine beliebige Richtung, lineare Bewegungen und Kombinationen aus Drehungen und linearen Bewegungen. Drehungen können Verdrehungen umfassen, etwa ein Verdrehen oder Umklappen der Hand, des Handgelenks oder eines oder mehrerer Finger.
Die Drehungen können außerdem Bewegungen umfassen, die bewirken, dass das Gerät 300 entlang größerer Kreisbögen bewegt wird, etwa allgemein um einen Ellenbogen des Benutzers herum, wie es stattfinden würde, wenn der Benutzer eine Winkbewegung ausführt. Lineare Bewegungen können umfassen, dass der Benutzer seine Hand und damit sein Handgelenk gerade nach unten bewegt, etwa eine ausführliche Bewegung des nach unten Drückens eines imaginären herkömmlichen Türverriegelungsstifts.
Andere in Betracht gezogene Bewegungen umfassen eine Armbewegung, durch die der Benutzer ein Drücken, Ziehen oder Werfen eines imaginären Etwas (z. B. eine Textbotschaft) zu dem Fahrzeug hin simuliert, was einer Fahrzeugfunktion entspricht (z. B. Empfangen der Textbotschaft und Verarbeiten – z. B. Senden der empfangenen Botschaft), oder etwas aus dem Fahrzeug herausziehen.
Es ist zwar ein am Handgelenk befestigtes am Körper tragbares Gerät 300 gezeigt, jedoch muss das Gerät 300 nicht so ausgestaltet sein, dass es nur am Handgelenk getragen werden kann. Das Gerät kann beispielsweise einen Ring oder eine Brille umfassen, wobei Finger- oder Kopfgesten relevant sind.
Und wie erwähnt sind die Systeme in einigen Ausführungsformen ausgestaltet, um Benutzergesten aufzuzeichnen – etwa durch einen oder mehrere Fahrzeugsensoren, welche diese erfassen –, unabhängig davon, ob der Benutzer gerade ein Gerät 300 am Körper trägt.
Wie erwähnt umfasst die Datenquelle einen oder mehrere Sensoren, die ausgestaltet sind, um eine Bewegung eines Körperteils des Benutzers zu erfassen, etwa eines Handgelenks, eines Kopfs, eines Arms oder einer Hand. Ein Arm, ein Handgelenk und eine Hand des Benutzers sind in 3 gezeigt.
Die Sensoren können diejenigen umfassen, die vorstehend in Verbindung mit dem Sensorteilsystem 126 des Systems 100 von 1 beschrieben wurden, etwa mindestens eine Kamera 128, sind aber nicht darauf beschränkt.
In einer in Betracht gezogenen Ausführungsform können die Sensoren einen Sensor eines am Körper tragbaren Geräts 300 umfassen. Beispielsweise kann der Benutzer ein Gerät am Körper tragen – an einem linken Handgelenk, um den Hals herum (z. B. einen Anhänger, eine Halskette), einen Ohrring, einen Ring, Manschettenknöpfe, einen Gürtelanhänger, Schuh- oder Stiefelanhänger (Fußbekleidungsanhänger), Beinbekleidung, Armbekleidung, Kleidung allgemein, Kopfhörer, Geräte am Kopf, einen Hut oder eine andere Kopfbedeckung, Ringe, eine Brille, eine Sonnenbrille usw. –, das ausgestaltet ist, um eine Bewegung des rechten Arms oder der rechten Hand zu erfassen und zu berichten (ein Signal an das Fahrzeug zu senden). In einer in Betracht gezogenen Ausführungsform wird das Gerät 300 von dem Benutzer technisch nicht am Körper getragen, sondern von dem Benutzer in der Hand gehalten, etwa ein Mobiltelefon des Benutzers. In einer in Betracht gezogenen Ausführungsform ist das am Körper tragbare Gerät oder das andere Benutzergerät mit mindestens einem Sensor ausgestaltet, etwa einem auf RADAR beruhendem Bewegungsdetektor, um Benutzerbewegungen zu detektieren, wie etwa, dass die Uhr 300 Fingerbewegungen detektiert, während sich das Handgelenk und der Unterarm gerade nicht bewegen.
Das Gerät 300 kann beliebige geeignete Komponenten zum Erfassen von Benutzergesten oder Benutzerbewegungen umfassen, etwa Kamerakomponenten, eine Trägheitsmomenteinheit (IMU) – etwa diejenige, die durch 132 für diejenige Interpretation angezeigt ist, bei welcher das System 100 von 1 das Gerät 300 zeigt – etwa eine, die einen oder mehrere Beschleunigungsmesser aufweist.
In verschiedenen Ausführungsformen ist das Fahrzeug 100 und/oder das mobile Gerät 300 ausgestaltet, um festzustellen, ob der Benutzer anwesend ist oder sich in der Nähe des Fahrzeugs befindet – etwa durch Bestimmen, dass sich das am Körper tragbare Gerät in der Nähe des Fahrzeugs 102 befindet. Das Fahrzeug kann die Anwesenheit des Benutzers für diesen Zweck in einer beliebigen einer Vielfalt von Weisen identifizieren oder authentifizieren, zusammen mit oder zusätzlich zum Detektieren eines Abstands zu einem mobilen Gerät des Benutzers, etwa durch Sprachauthentifizierung, Gesichtsauthentifizierung, Netzhautscan usw. In verschiedenen Ausführungsformen erfassen das mobile Gerät 300 und/oder das Fahrzeug Benutzergesten und/oder reagieren darauf erst, nachdem die Anwesenheits- oder Abstandsbestimmung an dem mobilen Gerät und/oder dem Fahrzeug ausgeführt worden ist.
III. A. ii. Modul 204 zur Identifikation einer Fahrzeugfunktion
Die Hardwareverarbeitungseinheit 106 bestimmt beim Ausführen des Moduls 204 zur Identifikation einer Fahrzeugfunktion eine Fahrzeugfunktion, die mit der Geste korrespondiert, die von der Hardwareverarbeitungseinheit 106 beim Ausführen des Moduls 202 zur Bestimmung einer Benutzergeste identifiziert wurde.
Wie erwähnt kann jedes der Module 202, 204, 206, 208 Teilmodule enthalten und jedes Modul und Teilmodul kann durch einen beliebigen einer Vielfalt von Namen bezeichnet werden, etwa durch einen Begriff oder einen Ausdruck, der dessen Funktion angibt. Als Beispiel kann das Modul 204 zur Identifikation einer Fahrzeugfunktion Teilmodule 210, 212, 214, 216 enthalten.
Das erste Teilmodul 210 kann als Nachschlagemodul bezeichnet werden, etwa eine Datenstruktur, die eine Tabelle umfasst, welche jede von mehreren voreingestellten Benutzergesten (z. B. ein Winken mit der Hand) mit jeweiligen Fahrzeugfunktionen korreliert (z. B. Fahrzeugleuchten blinken lassen).
In verschiedenen Ausführungsformen ist die Benutzergeste relativ verborgen, so dass sie allgemein nicht detektiert werden kann oder für einen zufälligen Beobachter nicht als Auslöser für das Fahrzeug erkennbar ist. Die Geste kann beispielsweise umfassen, dass der Benutzer mit seiner Hand einem Fremden zuwinkt, während er ihn bittet, nach hinten wegzugehen, wobei das Winken mehreren Zwecken gleichzeitig dient – den Fremden warnen, damit er nach hinten weggeht, und eine oder mehrere Fahrzeugfunktionen auslösen, etwa, dass das Fahrzeug mit dem Aufnehmen eines Videos beginnt, oder dass ein Notruf oder eine Videokommunikation ausgeführt wird. Als ein besser verstecktes Beispiel kann die Geste ein leichtes, schnelles Verdrehen des Handgelenks oder ein leichtes schnelles Pumpen des Handgelenks oder der Hand in eine beliebige vorbestimmte Richtung oder nacheinander in mehr als eine vorbestimmte Richtung umfassen.
Das zweite Teilmodul 212 kann als Benutzerprofilmodul bezeichnet werden. Das Benutzerprofilmodul 212 kann Benutzervorlieben enthalten, die von dem Benutzer eingestellt wurden, etwa bevorzugte Gesten und zugeordnete Fahrzeugfunktionen, wobei die bevorzugten Gesten von Standard- oder voreingestellten Gesten abweichen, die ursprünglich den Fahrzeugfunktionen zugeordnet waren.
In verschiedenen Ausführungsformen kann der Benutzer eine oder mehrere Gesten voreinstellen und jede einer Fahrzeugfunktion zuordnen. Die Einstellungen können in dem Benutzerprofil gespeichert werden.
In einigen Implementierungen verwenden die Operationen des ersten Moduls 202 das Benutzerprofilmodul 212. Das Benutzerprofilmodul kann Teil des ersten Moduls 202 anstelle von oder zusammen damit sein, dass es sich in dem zweiten Modul 204 befindet.
Das dritte Teilmodul 214 kann als Modul zur Einleitung einer Fahrzeugfunktion bezeichnet werden. Das VFI-Modul 214 kann Anweisungen enthalten, die veranlassen, dass das Hardwareverarbeitungsgerät 106 auf der Grundlage der Fahrzeugfunktion, die unter Verwendung des Nachschlagemoduls 210 identifiziert wurde, das Ausführen der relevanten Funktion des Fahrzeugs einleitet. Das Einleiten kann beispielsweise umfassen, dass die Hardwareverarbeitungseinheit 106 beim Ausführen von Anweisungen des VFI-Moduls 214 ein Signal oder eine Botschaft erzeugt und überträgt, das/die ausgestaltet ist, um zu veranlassen, dass das Fahrzeug die Funktion ausführt. Das Signal oder die Botschaft kann beispielsweise an die primäre elektronische Steuerungseinheit (ECU) des Fahrzeugs 102 oder an einen anderen Teil des OBC 100 unabhängig davon übertragen werden, ob der OBC Teil der ECU ist.
Das vierte Teilmodul 216 wird gezeigt, um anzuzeigen, dass das Modul 204 ein oder mehrere zusätzliche Teilmodule enthalten kann.
III. A. iii. Modul 206 zur Aktivierung einer Fahrzeugfunktion
Die Hardwareverarbeitungseinheit 106 führt beim Ausführen des Moduls 206 zur Aktivierung einer Fahrzeugfunktion die Funktionen aus, die von der Einheit 106 beim Ausführen der vorherigen Module 202, 204 identifiziert wurden. Beispielhafte Funktionen umfassen das Einleiten eines 112 (US: 911) Anrufs, das Verriegeln oder Entriegeln von Türen usw.
In einigen Implementierungen, bei denen der OBC 100 nicht Teil der ECU des Fahrzeugs ist, kann das dritte Modul 206 Teil der ECU sein.
IV. Beispielhafte Betriebsverfahren – Fig. 4
4 zeigt beispielhafte Verfahren 400 in Übereinstimmung mit Ausführungsformen der vorliegenden Technologie. Es wird davon ausgegangen, dass mehr als ein Verfahren gezeigt ist, da verschiedene Teilmengen der gezeigten Operationen separat in einer beliebigen Kombination implementiert werden können, ohne den Umfang der vorliegenden Offenbarung zu verlassen.
Es versteht sich, dass die Schritte, Operationen oder Funktionen der Verfahren 400 nicht unbedingt in einer beliebigen speziellen Reihenfolge präsentiert sind und dass das Ausführen einiger oder aller Schritte in einer alternativen Reihenfolge möglich ist und in Betracht gezogen wird. Die Verfahren können auch kombiniert werden oder einander überlappen, so dass etwa ein oder mehrere Schritte von einem der Verfahren in dem anderen Verfahren ausgeführt werden.
Zur Erleichterung der Beschreibung und Darstellung wurden die Schritte in der gezeigten Reihenfolge präsentiert. Schritte können hinzugefügt, weggelassen und/oder gleichzeitig ausgeführt werden, ohne den Umfang der beigefügten Ansprüche zu verlassen. Es versteht sich außerdem, dass die dargestellten Verfahren 400 jederzeit beendet werden können.
In bestimmten Ausführungsformen werden einige oder alle Schritte der Verfahren 400 und/oder im Wesentlichen äquivalente Schritte von einem Prozessor, z. B. einem Computerprozessor ausgeführt, der von einem Computer ausführbare Anweisungen ausführt, die in einem computerlesbaren Medium gespeichert oder enthalten sind, etwa in dem vorstehend beschriebenen Datenspeichergerät 104 des Systems 100.
Der Ablauf des Prozesses 400 ist als Beispiel in vier Sektionen unterteilt: eine Sektion 410 zur Personalisierung und Eingabe eines Benutzers, eine Sektion 420 für eine Komfort/Bequemlichtkeits-Fahrzeugfunktion, eine Sektion 430 für eine lokale Fahrzeugalarmfunktion, und eine Sektion 440 für eine entfernte Kommunikation oder einen entfernten Alarm.
Bei Block 411 hat ein Benutzer ein am Körper tragbares Gerät oder ein anderes mobiles Gerät, etwa ein Smartphone, oder zieht eines an. Das mobile Gerät ist ausgestaltet, um eine Benutzerbewegung zu erfassen, etwa wie beschrieben eines Arms, eines Kopfes, eines Handgelenks, von Fingern usw. des Benutzers. Ein beispielhaftes mobiles Gerät ist eine intelligente Uhr 300, etwa diejenige, die in 3 schematisch gezeigt ist.
Bei Block 412 werden Sensoren und Rechensysteme des mobilen Geräts und/oder des betreffenden Fahrzeugs unterrichtet und/oder lernen Benutzerbewegungen – z. B. Gesten – und zugeordnete gewünschte Fahrzeugfunktionen. Das Lernen kann umfassen, dass gelernt wird, wie sich der Benutzer typischerweise bewegt, wenn er versucht, Gesten auszuführen, und dass diese mit ausführbaren Gesten korreliert werden, etwa in der erwähnten Tabelle, die Gesten und korrespondierende Funktionen zueinander in Beziehung setzt. Der Algorithmus kann denjenigen ähneln, die verwendet werden, um Sprachmuster von Benutzern bei einer Spracherkennungssoftware zu erkennen, bei einer Software zur Übersetzung von Sprache in Text oder bei der Erkennung von Gewohnheiten, Stilen oder Mustern einer Handschrift verwendet werden.
In verschiedenen Ausführungsformen kann das System eine Standardorganisation von zur Verwendung verfügbaren Gesten aufweisen und/oder der Benutzer kann die Gesten organisieren, etwa durch Festlegen in den Interaktionsniveaus des Systems – z. B. ein erstes Niveau von Bequemlichkeits/Komfort-Gesten – z. B. Entriegeln/Verriegeln der Türen, und Optionen der Innen- oder Außenbeleuchtung bei Annäherung an das Fahrzeug; und ein zweites Niveau für Notfallsituationen – z. B. zum Aktivieren von Geräuschen und Alarmen und/oder zur Alarmierung von Behörden. Ein exakter Aufenthaltsort kann in derartigen Umständen von dem System unter Verwendung von GPS oder eines anderen Aufenthaltsorts, der von dem Fahrzeug, von dem am Körper tragbaren Gerät oder von einem entfernten System ermittelt wurde, z. B. dem System OnStar^® – bereitgestellt werden.
Das Lehren kann umfassen, dass dem Benutzer Gesten vorgeschlagen werden, die er zum Auslösen korrespondierender Fahrzeugfunktionen verwenden kann. Die Vorschläge können von dem Fahrzeug durch ein Benutzergerät oder durch eine Schnittstelle vom Fahrzeug zum Menschen (VHI) an den Benutzer kommuniziert werden, etwa beispielsweise durch einen Fahrzeuglautsprecher und/oder durch eine visuelle Anzeige. Die Vorschläge können Standard- oder voreingestellte Gesten enthalten, die bereits korrespondierenden Fahrzeugfunktionen zugeordnet sind.
Bei Block 413 übernehmen das Rechensystem 100 des mobilen Geräts und/oder des Fahrzeugs Standard- oder personalisierte Gestensteuerungen oder definieren diese auf der Grundlage einer Benutzereingabe, einer Standardprogrammierung, von Anweisungen oder Aktualisierungen von einer entfernten Quelle – z. B. das OnStar^®-System – und so weiter.
Bei Block 414 ermitteln das Rechensystem und Sensoren des mobilen Geräts und/oder des Fahrzeugs eine Benutzerdisposition. Die Operation kann beispielsweise umfassen, dass festgestellt wird, dass sich der Benutzer gerade dem Fahrzeug nähert, sich nahe beim Fahrzeug befindet – z. B. innerhalb von 6 Meter (20 Fuß), 3 Meter (10 Fuß), 1,5 Meter (5 Fuß) oder einer anderen Standard- oder vom Benutzer eingestellten Distanz – er sich im Fahrzeug befindet oder das Fahrzeug gerade verlässt. In verschiedenen Ausführungsformen ist das System ausgestaltet, um zuzulassen, dass der Benutzer diese Standardeinstellungen verändert. Die neue Beziehung kann in dem vorstehend erwähnten Benutzerprofil in Verbindung mit dem Modul 204 zur Identifikation einer Fahrzeugfunktion gespeichert werden.
Bei Block 415 detektieren das Rechensystem und die Sensoren des mobilen Geräts und/oder des Fahrzeugs eine Benutzergeste oder Bewegung und identifizieren diese. Die Rechensysteme ermitteln dann eine Fahrzeugfunktion, die der Benutzerbewegung entspricht. In Ausführungsformen, in welchen es das mobile Gerät ist – z. B. die intelligente Uhr 300 – welche die geeigneten Fahrzeugfunktionen ermittelt, überträgt das mobile Gerät ein Signal oder eine Botschaft an das Fahrzeug, das/die die geeigneten Fahrzeugfunktionen anzeigt, die an dem mobilen Gerät ermittelt wurden.
Bei Block 421 implementiert das Rechensystem des Fahrzeugs 102 ermittelte lokale Bequemlichkeits- oder Komfortfunktionen, die am Fahrzeug oder am mobilen Gerät 300 bei der vorherigen Operation 415 ermittelt wurden. Beispielhafte Funktionen in dieser Sektion 420 umfassen, sind aber nicht beschränkt auf das Erleuchten oder Blinkenlassen von Außenleuchten des Fahrzeugs (Frontscheinwerfer, Heckscheinwerfer, Blinkersignale, Leuchten unter der Fahrzeugkarosserie und/oder Innenleuchten), das Verriegeln/Entriegeln der Türen oder das Öffnen/Schließen einer Tür, einer Heckklappe oder eines Kofferraumdeckels.
Bei Block 431 implementiert das Rechensystem des Fahrzeugs 102 lokale Alarm- oder Notfallfunktionen, die in der vorherigen Operation 415 beim Fahrzeug oder beim mobilen Gerät 300 bestimmt wurden. Beispielhafte lokale Funktionen umfassen hier das Betätigen der Fahrzeughupe, das Blinkenlassen von Außen- oder Innenleuchten usw. In betrachteten Ausführungsformen umfasst die Funktion, dass das Fahrzeug Audio und/oder Video aufzeichnet, etwa um eine Situation mit einem potentiellen Verbrechen aufzuzeichnen, in die der Benutzer verwickelt ist oder in deren Nähe er sich befindet.
Bei Block 441 implementiert das Rechensystem des Fahrzeugs 102 und/oder des mobilen Geräts 300 Funktionen, die das Äußere des Fahrzeugs betreffen, die am Fahrzeug oder am mobilen Gerät 300 in der vorherigen Operation 415 bestimmt wurden. Beispielhafte Funktionen umfassen hier das Einleiten eines Telefonanrufs, einer Textbotschaft, das Übertragen eines GPS-Aufenthaltsorts oder eines Videos, etwa desjenigen, das bei Block 431 aufgezeichnet wurde. Der Telefonanruf kann ein Notruf sein (112 bzw. 911), er kann ein automatischer Anruf sein, bei dem das Fahrzeug eine Botschaft für den Empfänger bereitstellt, oder er kann ein Benutzeranruf sein, bei dem ein Audiosignal in Echtzeit übertragen wird. In einer betrachteten Ausführungsform umfasst die Funktion, dass ein beliebiges mobiles Gerät des Benutzers oder ein nahegelegenes Aufzeichnungsgerät, etwa einer Parkplatzinfrastruktur, Audio und/oder Video aufzeichnet, um etwa eine potentielle Verbrechenssituation aufzuzeichnen, die den Benutzer betrifft oder in seiner Nähe stattfindet.
Das Verfahren 400 kann enden oder eine beliebige oder mehrere Operationen des Verfahrens 400 können erneut ausgeführt werden.
V. Eingaben und Ausgaben eines beispielhaften Systems – Fig. 5
5 zeigt eine Anordnung 500 von Eingaben 510 und Ausgaben 550 eines beispielhaften Systems, die durch ein Gestenerkennungssystem 560 in Übereinstimmung mit Ausführungsformen der vorliegenden Technologie getrennt sind.
Die Eingaben 510 können in drei primäre Typen unterteilt werden: Benutzergesten 520, Off-Bord-Eingaben 530 (außerhalb des Fahrzeugs) und An-Bord-Eingaben 540 (innerhalb des Fahrzeugs).
Beispielhafte Benutzergesten 520 umfassen beliebige von denen, die vorstehend erwähnt wurden, etwa eine Drehung 521, ein Zeigen oder lineares Bewegen 522, ein Wischen 523 und ein Klicken 524 eines Körperteils des Benutzers.
Beispielhafte Eingaben 530 von außerhalb des Fahrzeugs umfassen Eingaben von einer oder mehreren Fahrzeugkameras 541, von anderen Fahrzeugsensoren 542, eine Bluetooth-Eingabe 543 an das Fahrzeug, eine entfernte Eingabe 544 an das Fahrzeug, etwa von OnStar^®, eine Eingabe von einer Anwendung 545 des Fahrzeugs oder eines mobilen Geräts, etwa einer Navigationsanwendung oder einer Ortsbestimmungsanwendung eines am Körper tragbaren Geräts, Eingaben 546 von Bedienelementen oder Funktionen des Fahrzeugs oder mit Bezug auf das Fahrzeug, etwa von einem Touchpad des Benutzers, von einem Schlüsselanhänger zur Fahrzeugbeleuchtung, von einem Knopf oder durch eine Betätigung eines Schlüsselanhängers zum Verriegeln/Entriegeln, und eine Eingabe 547 des Aufenthaltsorts des Fahrzeugs.
Beispielhafte Eingaben 540 an Bord des Fahrzeugs umfassen Aufenthaltsortinformationen (z. B. GPS) oder eine andere Dateneingabe von einem Satelliten 531, von einem Mobilfunk 532, V2X, 533 (V2V, V2I, usw.), oder von Daten über das Internet 534, welche auf eine beliebige geeignete Weise verbunden sind.
Das Gestenerkennungssystem 560 umfasst in verschiedenen Ausführungsformen beliebige der Komponenten, die vorstehend in Verbindung mit Gestenerkennungsfunktionen bereitgestellt wurden, etwa das mobile Gerät des Benutzers oder Sensoren und Rechensysteme des Fahrzeugs.
Die Ausgabefunktionen 550 umfassen, sind aber nicht beschränkt auf, beliebige derjenigen, die vorstehend beschrieben wurden, etwa das Beleuchten von Fahrzeugleuchten 551, das Verriegeln/Entriegeln 552 von Türschlössern des Fahrzeugs, das Betätigen 553 der Fahrzeughupe, das Einleiten einer Kommunikation 554, etwa eines Anrufs oder einer Textbotschaft oder das Übertragen 555 eines Aufenthaltsorts des mobilen Geräts oder des Fahrzeugs und/oder von Audio oder Video, das bei dem mobilen Gerät, bei dem Fahrzeug oder bei einer nahegelegenen Struktur etwa einer Parkplatzkamera, aufgezeichnet wurde.
VI. Zusätzliche Merkmale
Vorstehend wurden viele der Merkmale und Ausführungsformen der vorliegenden Technologie beschrieben. Der vorliegende Abschnitt erwähnt einige von diesen erneut und bezieht sich auf einige andere.
In verschiedenen Ausführungsformen umfasst die Technologie eine Anwendung, die eine Kommunikation zwischen Fahrzeug und am Körper tragbarem Gerät ermöglicht, um die Möglichkeit zur Gestensteuerung innerhalb, außerhalb und um das Fahrzeug herum oder während eines Übergangs vorteilhaft zu nutzen, etwa wenn ein Elternteil gerade ein Kind an einem Autositz anschnallt oder im Kofferraum nachsieht. Die Anwendung kann am am Körper tragbaren Gerät und/oder am Fahrzeug bereitgestellt sein.
Die Anwendung kann programmiert sein, um den Stil einer Benutzergeste zu lernen – z. B. Gesten, die für den Benutzer natürlich oder natürlicher sind.
Die Anwendung und das am Körper tragbare Gerät werden kombiniert, um die Benutzererfahrung zu erweitern, was zusätzliche Bequemlichkeit, Komfort, Eigentumssicherung und persönliche Sicherheit umfasst.
Die Anwendung kann ausgestaltet sein, um Benutzergesten zu lernen und um personalisierte Steuerungsoptionen zu erzeugen.
In verschiedenen Ausführungsformen kann das am Körper tragbare Gerät mit mehreren Fahrzeugen funktionieren – z. B. mit diesen gepaart werden oder paarbar sein. Auf diese Weise kann beispielsweise ein Benutzer die Technologie unter Verwendung seines mobilen Geräts mit jedem von mehreren Fahrzeugen in seinem Haushalt verwenden. Oder ein Benutzer kann beispielsweise die Technologie unter Verwendung seines mobilen Geräts und eines Mietfahrzeugs verwenden.
Die Systeme sind in verschiedenen Ausführungsformen ausgestaltet, um zu ermöglichen, dass Benutzer Gesten verwenden, um Fahrzeugmerkmale von innerhalb oder außerhalb des Fahrzeugs aus zu steuern, um die persönliche Sicherheit zu verbessern.
Die Systeme ermöglichen, dass der Benutzer durch eine Geste eine Kommunikation von Botschaften, Mobilfunkverbindungen oder Kommunikationen, und das Übertragen von Video- und/oder GPS-Aufenthaltsortsdaten einleitet.
In verschiedenen Ausführungsformen kann die Technologie verschiedene Technologien vorteilhaft verwenden, die in existierenden am Körper tragbaren Produkten und existierenden Fahrzeugen anzutreffen sind.
Die am Körper tragbaren Geräte können schmückend oder modisch sein, so dass die Geräte so aussehen, dass es nicht klar ist, dass es sich um Produkte mit einer Mensch-Maschine-Schnittstelle (HMI-Produkte) handelt.
VII. Ausgewählte Vorteile
Viele der Nutzen und Vorteile der vorliegenden Technologie wurden vorstehend beschrieben. Der vorliegende Abschnitt erwähnt einige von diesen erneut und bezieht sich auf einige andere. Die beschriebenen Nutzen sind nicht umfassend für die Nutzen der vorliegenden Technologie.
Die Systeme und Verfahren der vorliegenden Offenbarung ermöglichen eine sicherere und bequemerere Verwendung eines Systems, etwa eines Kraftfahrzeugs.
Die Annehmlichkeit und Sicherheit resultieren daraus, dass der Benutzer in der Lage ist, gewünschte Funktionen auf eine Weise mit freien Händen auszulösen, wenn er sich außerhalb oder innerhalb des Fahrzeugs befindet. Das Auslösen wird durch Benutzergesten bewerkstelligt, die von einem am Körper tragbaren Gerät und/oder von einem Sensor detektiert werden, etwa einem Sensor am Fahrzeug oder am Benutzer. Der Benutzer braucht nicht mit einem Schlüsselanhänger, einem berührungsempfindlichen Bildschirm oder einem Tastenfeld zu hantieren und er muss in einigen Implementierungen nicht einmal ein am Körper tragbares Gerät verwenden.
Nutzen in verschiedenen Ausführungsformen umfassen eine erhöhte personelle Sicherheit beim Einsteigen in das und beim Aussteigen aus dem Fahrzeug und innerhalb des Fahrzeugs.
Für Ausführungsformen, die am Körper tragbare Geräte umfassen, werden zusätzliche Kosten, zusätzliche Masse, Verpackung und Integration, die typischerweise benötigt werden, um Sensoren für ähnliche Zwecke direkt in das Fahrzeug einzubauen (z. B. eine Benutzeridentifikation oder eine Detektion/Bestimmung von Benutzergesten) vermieden.
Wie erwähnt, können die am Körper tragbaren Geräte schmückend oder modisch sein, so dass die Geräte nicht so aussehen, als ob es sich klar um Produkte mit einer Mensch-Maschine-Schnittstelle (HMI-Produkte) handelt.
VIII. Schlussfolgerung
Hier sind verschiedene Ausführungsformen der vorliegenden Offenbarung offenbart. Die offenbarten Ausführungsformen sind nur Beispiele, die in verschiedenen und alternativen Formen und Kombinationen daraus ausgeführt werden können.
Die vorstehend beschriebenen Ausführungsformen sind nur beispielhafte Darstellungen von Implementierungen, die zum klaren Verständnis der Prinzipien der Offenbarung offengelegt wurden.
An den vorstehend beschriebenen Ausführungsformen können Variationen, Modifikationen und Kombinationen durchgeführt werden, ohne den Umfang der Ansprüche zu verlassen. Alle derartigen Variationen, Modifikationen und Kombinationen sind durch den Umfang dieser Offenbarung und der folgenden Ansprüche hier enthalten.

Claims

System zur Verwendung beim Implementieren einer Fahrzeugfunktion auf der Grundlage einer Benutzergeste, umfassend: eine hardwarebasierte Verarbeitungseinheit; und ein hardwarebasiertes Speichergerät, umfassend: ein Modul zur Bestimmung einer Benutzergeste, das, wenn es von der hardwarebasierten Verarbeitungseinheit ausgeführt wird, eine Benutzergeste bestimmt, die von einem Benutzer in der Nähe eines Fahrzeugs ausgeführt wurde, wobei die Benutzergeste kein Fußstoß des Benutzers unter das Fahrzeug ist; ein Modul zur Identifikation einer Fahrzeugfunktion, das, wenn es von der hardwarebasierten Verarbeitungseinheit ausgeführt wird, eine Fahrzeugfunktion bestimmt, die der bestimmten Benutzergeste vorab zugeordnet wurde; und ein Modul zur Aktivierung einer Fahrzeugfunktion, das, wenn es von der hardwarebasierten Verarbeitungseinheit ausgeführt wird, das Ausführen der identifizierten Fahrzeugfunktion einleitet.
System nach Anspruch 1, das ferner eine Ausführungskomponente des Fahrzeugs umfasst, wobei das Modul zur Aktivierung einer Fahrzeugfunktion, wenn es von der hardwarebasierten Verarbeitungseinheit ausgeführt wird, das Ausführen der identifizierten Fahrzeugfunktion, die ausgeführt werden soll, durch die Ausführungskomponente des Fahrzeugs einleitet.
System nach Anspruch 1, das ferner mindestens einen Sensor umfasst, der ausgestaltet ist, um eine Bewegung des Benutzers zu erfassen oder zu messen, wobei das Modul zur Bestimmung einer Benutzergeste, wenn es von der hardwarebasierten Verarbeitungseinheit ausgeführt wird, um die Benutzergeste zu bestimmen, Eingabedaten für eine Benutzerbewegung von dem mindestens einen Sensor empfängt.
System nach Anspruch 1, wobei das Modul zur Bestimmung einer Benutzergeste, wenn es ausgeführt wird, um die Geste zu bestimmen, die von dem Benutzer in der Nähe des Fahrzeugs ausgeführt wurde, von einem mobilen Gerät eine Kommunikation empfängt, welche die Benutzergeste anzeigt.
System nach Anspruch 1, wobei das System Teil des Fahrzeugs ist.
System nach Anspruch 1, wobei das System Teil eines von einem Benutzer am Körper tragbaren Geräts ist.
System nach Anspruch 1, wobei: das hardwarebasierte Speichergerät ein Benutzerprofil umfasst, das Daten umfasst, die mit einer Benutzereingabe erzeugt wurden und eine Beziehung zwischen der Benutzergeste und einer korrespondierenden Fahrzeugfunktion anzeigen; und das Modul zur Identifikation einer Fahrzeugfunktion, wenn es von der hardwarebasierten Verarbeitungseinheit ausgeführt wird, die Fahrzeugfunktion unter Verwendung des Benutzerprofils bestimmt.
System nach Anspruch 1, wobei: das hardwarebasierte Speichergerät ein Entfernungsmodul umfasst, das, wenn es von der hardwarebasierten Verarbeitungseinheit ausgeführt wird, feststellt, dass sich der Benutzer innerhalb oder in der Nähe des Fahrzeugs befindet; und das Modul zur Bestimmung einer Benutzergeste, wenn es von der hardwarebasierten Verarbeitungseinheit ausgeführt wird, die Benutzergeste erst im Anschluss daran bestimmt, dass bestimmt wurde, dass sich der Benutzer in oder in der Nähe des Fahrzeugs befindet.
Nicht vorübergehendes und hardwarebasiertes computerlesbares Speichergerät zur Verwendung beim Implementieren einer Fahrzeugfunktion auf der Grundlage einer Benutzergeste, umfassend: ein Modul zur Bestimmung einer Benutzergeste, das, wenn es von einer hardwarebasierten Verarbeitungseinheit ausgeführt wird, eine Benutzergeste bestimmt, die von einem Benutzer in der Nähe eines Fahrzeugs ausgeführt wurde, wobei die Benutzergeste kein Fußstoß des Benutzers unter das Fahrzeug ist; ein Modul zur Identifikation einer Fahrzeugfunktion, das, wenn es von der hardwarebasierten Verarbeitungseinheit ausgeführt wird, eine Fahrzeugfunktion bestimmt, die der bestimmten Benutzergeste vorab zugeordnet wurde; und ein Modul zur Aktivierung einer Fahrzeugfunktion, das, wenn es von der hardwarebasierten Verarbeitungseinheit ausgeführt wird, das Ausführen der identifizierten Fahrzeugfunktion einleitet.
Verfahren, das von einem System, das eine hardwarebasierte Verarbeitungseinheit und ein hardwarebasiertes computerlesbares Speichergerät enthält, das ein Modul umfasst, ausgeführt wird, um eine Fahrzeugfunktion auf der Grundlage einer Benutzergeste zu implementieren, wobei das Verfahren umfasst, dass: von einer hardwarebasierten Verarbeitungseinheit, die ein Modul zur Bestimmung einer Benutzergeste ausführt, welches in einem hardwarebasierten computerlesbaren Speichergerät gespeichert ist, eine Benutzergeste bestimmt wird, die von einem Benutzer in der Nähe eines Fahrzeugs ausgeführt wird, wobei die Benutzergeste kein Fußstoß des Benutzers unter das Fahrzeug ist; von der hardwarebasierten Verarbeitungseinheit beim Ausführen eines Moduls zur Identifikation einer Fahrzeugfunktion, das in dem hardwarebasierten computerlesbaren Speichergerät gespeichert ist, eine Fahrzeugfunktion bestimmt wird, die der bestimmten Benutzergeste vorab zugeordnet wurde; und von der hardwarebasierten Verarbeitungseinheit beim Ausführen eines Moduls zur Aktivierung einer Fahrzeugfunktion, das in dem hardwarebasierten computerlesbaren Speichergerät gespeichert ist, das Ausführen der identifizierten Fahrzeugfunktion eingeleitet wird.