-
TECHNISCHES GEBIET
-
Die vorliegende Offenbarung betrifft allgemein Steuerungen eines Fahrzeugs und insbesondere eine interaktive Anzeige auf Grundlage der Interpretation von Fahrerhandlungen.
-
HINTERGRUND
-
Da Fahrzeuge mit komplexen Systemen mit vielen Optionen hergestellt werden, können Fahrer durch die zum Betreiben des Fahrzeugs nötige Kenntnis, um die Vorteile des neuen Systems zu erfahren, überwältigt werden. Das Eigner-Handbuch kann schwer verständlich sein. Händler gehen die Funktionalitäten des Fahrzeugs mit dem Fahrer durch, wobei sich Fahrer allerdings häufig nicht an alle Informationen erinnern und es ihnen egal ist, bis sie eine bestimmte Funktionalität nutzen wollen.
-
KURZDARSTELLUNG
-
Die angehängten Ansprüche definieren diese Anmeldung. Die vorliegende Offenbarung fasst Aspekte der Ausführungsformen zusammen und sollte nicht zum Einschränken der Ansprüche verwendet werden. Andere Implementierungen werden gemäß den hier beschriebenen Techniken in Betracht gezogen, wie sich einem Durchschnittsfachmann bei Prüfung der folgenden Zeichnungen und der ausführlichen Beschreibung ergeben wird, und diese Implementierungen sollen innerhalb des Schutzumfangs dieser Anmeldung liegen.
-
Ausführungsbeispiele für Systeme und Verfahren für eine interaktive Anzeige auf Grundlage der Interpretation von Fahrerhandlungen werden offenbart. Ein beispielhaftes offenbartes Fahrzeug beinhaltet eine Kamera, ein Mikrofon, und eine Fahrzeugassistenzeinheit. Die beispielhafte Fahrzeugassistenzeinheit ist ausgelegt zum, als Reaktion auf das Detektieren einer Informationsanfrage hinsichtlich eines Subsystems des Fahrzeugs über die Kamera und/oder das Mikrofon, Anzeigen von Informationen über das Subsystem mit einem ersten Detailgrad, und als Reaktion auf das Detektieren einer Anfrage nach mehr Informationen hinsichtlich des Subsystems, Anzeigen von Informationen über das Subsystem mit einem zweiten Detailgrad.
-
Ein beispielhaftes offenbartes Verfahren beinhaltet, als Reaktion auf das Detektieren einer Informationsanfrage hinsichtlich eines Subsystems eines Fahrzeugs über eine Kamera und/oder ein Mikrofon, das Anzeigen von Informationen über das Subsystem mit einem ersten Detailgrad auf einer Mittelkonsolenanzeige des Fahrzeugs. Zusätzlich beinhaltet das beispielhafte Verfahren, als Reaktion auf das Detektieren einer Anfrage nach mehr Informationen hinsichtlich des Subsystems, das Anzeigen auf der Mittelkonsolenanzeige des Fahrzeugs von Informationen über das Subsystem mit einem zweiten Detailgrad.
-
Ein beispielhaftes offenbartes greifbares computerlesbares Medium umfasst Anweisungen, die, wenn sie ausgeführt werden, ein Fahrzeug veranlassen zum, als Reaktion auf das Detektieren einer Informationsanfrage hinsichtlich eines Subsystems eines Fahrzeugs über eine Kamera und/oder ein Mikrofon, Anzeigen von Informationen über das Subsystem mit einem ersten Detailgrad auf einer Mittelkonsolenanzeige des Fahrzeugs. Die beispielhaften offenbarten Anweisungen, wenn ausgeführt, veranlassen das Fahrzeug zum, als Reaktion auf das Detektieren einer Anfrage nach mehr Informationen hinsichtlich des Subsystems, Anzeigen auf der Mittelkonsolenanzeige des Fahrzeugs von Informationen über das Subsystem mit einem zweiten Detailgrad.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
Zum besseren Verständnis der Erfindung kann Bezug auf in den folgenden Zeichnungen dargestellte Ausführungsformen genommen werden. Die Komponenten in den Zeichnungen sind nicht notwendigerweise maßstabsgetreu, und zugehörige Elemente können weggelassen sein oder in manchen Fällen können Proportionen übertrieben worden sein, um dadurch die neuartigen, hier beschriebenen Merkmale zu betonen und klar zu veranschaulichen. Zusätzlich können dem Stand der Technik entsprechend Systemkomponenten auf verschiedene Weisen angeordnet sein. Ferner bezeichnen in den Zeichnungen gleiche Bezugsziffern über die verschiedenen Ansichten hinweg entsprechende Teile.
-
1 veranschaulicht ein System zum Bereitstellen einer interaktiven Anzeige auf Grundlage der Interpretation von Fahrerhandlungen gemäß den Lehren dieser Offenbarung.
-
2 veranschaulicht einen Fahrgastraum eines Fahrzeugs mit der Interaktiv-Anzeige von 1.
-
3 bildet Elektronikkomponenten zum Implementieren der Fahrzeugassistenzeinheit von 1 ab.
-
4 ist ein Flussdiagramm, das ein beispielhaftes Verfahren zum Bereitstellen der Fahrzeugassistenzeinheit von 1 abbildet, das durch die Elektronikkomponenten der 3 umgesetzt werden kann.
-
AUSFÜHRLICHE BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
-
Obwohl die Erfindung in verschiedenen Formen ausgeführt werden kann, werden einige beispielhafte und nicht einschränkende Ausführungsformen in den Zeichnungen dargestellt und nachstehend mit dem Verständnis beschrieben, dass die vorliegende Offenbarung als ein Beispiel für die Erfindung anzusehen ist und dass sie die Erfindung nicht auf die spezifischen, veranschaulichten Ausführungsformen einschränken soll.
-
Wie hier offenbart, stellt ein Fahrzeug eine interaktive Anzeige zum Führen eines Fahrers beim Verwenden von Steuerelementen und Funktionalitäten des Fahrzeugs bereit. Das Fahrzeug verwendet Kameras, Mikrofone und/oder andere sensorische Daten zum Überwachen des Verhaltens des Fahrers, um zu bestimmen, wann der Fahrer von mehr Informationen hinsichtlich eines Steuerelements oder einer Funktionalität profitieren würde. Bewegungsmuster, die auf Konfusion hindeuten, wie etwa wiederholtes Ausgreifen nach einem Steuerelement, werden identifiziert. Als Reaktion darauf, dass das Fahrzeug detektiert, dass der Fahrer verwirrt ist, zeigt das Fahrzeug Informationen hinsichtlich des bestimmten Steuerelements mit einem ersten Detailgrad auf einer Anzeige an, wie etwa der Mittelkonsolenanzeige der Infotainment-Bedieneinheit. Beispielsweise kann der erste Detailgrad Informationen aus dem Benutzerhandbuch beinhalten. Bei manchen Beispielen kann der Fahrer verbal mehr Informationen anfragen. Alternativ oder zusätzlich kann das Fahrzeug bei manchen Beispielen detektieren, dass die Bewegung des Fahrers anzeigt, dass der Fahrer weiterhin verwirrt ist. Bei derartigen Beispielen zeigt das Fahrzeug Informationen hinsichtlich des Steuerelements mit einem zweiten Detailgrad an. Beispielsweise kann das Fahrzeug eine Videoanleitung darüber, wie das bestimmte Steuerelement verwendet wird, präsentieren.
-
1 veranschaulicht ein System 100 zum Bereitstellen einer interaktiven Anzeige auf Grundlage der Interpretation von Fahrerhandlungen gemäß den Lehren dieser Offenbarung. Bei den veranschaulichten Beispielen beinhaltet das System 100 eine Infotainment-Bedieneinheit 102 innerhalb eines Fahrzeugs 103, eine oder mehrere Kameras 104, eine Fahrzeugassistenzeinheit 106 innerhalb des Fahrzeugs 103 und Dienste 108 und 110, die sich auf einem Netzwerk 112 befinden. Das Fahrzeug 103 kann ein standardmäßiges mit Benzin betriebenes Fahrzeug, ein Hybridfahrzeug, ein Elektrofahrzeug, ein Brennstoffzellenfahrzeug oder eine beliebige andere Mobilitätshilfsmittelart eines Fahrzeugs sein. Das Fahrzeug 103 kann nichtautonom oder teilautonom sein. Das Fahrzeug 103 beinhaltet Teile, die mobilitätsbezogen sind, wie etwa einen Antriebsstrang mit einem Verbrennungsmotor, ein Getriebe, eine Aufhängung, eine Antriebswelle und/oder Räder usw.
-
Die Infotainment-Bedieneinheit 102 stellt eine Schnittstelle zwischen dem Fahrzeug 103 und einem Benutzer (z.B. einem Fahrer, einem Passagier usw.) bereit. Bei dem veranschaulichten Beispiel beinhaltet die Infotainment-Bedieneinheit 102 eine Mittelkonsolenanzeige 114, ein Mikrofon 116 und einen oder mehrere Lautsprecher 118. Die Infotainment-Bedieneinheit 102 beinhaltet digitale und/oder analoge Schnittstellen (z.B. Eingabevorrichtungen und Ausgabevorrichtungen) zum Empfangen einer Eingabe von einem oder mehreren Benutzern und zum Anzeigen von Informationen. Die Eingabevorrichtungen können zum Beispiel einen Steuerknopf, ein Armaturenbrett, eine Digitalkamera zur Bildaufnahme und/oder optischen Befehlserkennung, einen Touchscreen, eine Audioeingabevorrichtung (z.B. ein Mikrofon im Fahrgastraum), Tasten oder ein Touchpad beinhalten. Bei manchen Beispielen befinden sich ein oder mehrere Befehlseingänge 200a bis 200m von 2 auf der Infotainment-Bedieneinheit 102. Die Ausgabevorrichtungen können Kombi-Instrumentausgaben (zum Beispiel Skalen, Beleuchtungsvorrichtungen), Aktoren, ein Armaturenbrettpaneel, ein Head-Up-Display, die Mittelkonsolenanzeige 114 (zum Beispiel eine Flüssigkristallanzeige („LCD“), eine organische Leuchtdioden(„OLED“)-Anzeige, einen Flachbildschirm, eine Festkörperanzeige oder ein Head-Up-Display) und/oder die Lautsprecher 118 beinhalten. Das Mikrofon 116 ist auf der Infotainment-Bedieneinheit 102 positioniert, um somit die Stimme des Fahrers aufzunehmen.
-
Die Kamera(s) 104 ist/sind im Fahrgastraum des Fahrzeugs 103 positioniert. Wie in 2 gezeigt ist/sind die Kamera(s) 104 positioniert zum Überwachen einer oder mehrerer Zonen (z.B. die Zonen A bis F), die Befehlseingaben 200a bis 200m des Fahrzeugs 103 entsprechen. Zusätzlich kann/können die Kamera(s) 104 positioniert sein zum Verwenden durch mehrere andere Systeme als dem System 100, wie etwa ein Fahrererkennungssystem oder ein Fahrerbeeinträchtigungsdetektionssystem. Bei manchen Beispielen ist eine der Kameras 104 an einem Gehäuse eines Rückspiegels positioniert. Alternativ oder zusätzlich ist eine der Kameras 104 an einem Gehäuse eines Dachhimmelbeleuchtungspaneels positioniert.
-
Die Fahrzeugassistenzeinheit 106 überwacht die Gesten und die Stimme eines Benutzers des Fahrzeugs 103, um zu bestimmen, wann Informationen auf der Mittelkonsolenanzeige 114 angezeigt werden sollen. Beim veranschaulichten Beispiel von 1 beinhaltet die Fahrzeugassistenzeinheit 106 ein Bewegungserkennungsmodul 120, ein Spracherkennungsmodul 122, ein Fahrzeugassistenzmodul 124 und eine Fahrzeugassistenzdatenbank 126.
-
Das Bewegungserkennungsmodul 120 ist kommunikativ mit der/den Kamera(s) 104 gekoppelt. Das Bewegungserkennungsmodul 120 überwacht unter Verwendung von Gestenerkennung die Zonen A bis I von 2 hinsichtlich der Hände der Insassen des Fahrzeugs 103. Bei manchen Beispielen verfolgt das Bewegungserkennungsmodul 120 andere Gegenstände und/oder Körperteile als die Hand/Hände des Fahrers. Das Bewegungserkennungsmodul 120 bestimmt den Ort einer Hand und/oder von Fingern eines Benutzers innerhalb der Zonen A bis F. Zusätzlich ist das Bewegungserkennungsmodul 120 kontextuell über die Orte der Befehlseingänge 200a bis 200m orientiert. Falls sich beispielsweise eine Hand in Zone F befindet, kann das Bewegungserkennungsmodul 120 bestimmen, dass sich die Hand nahe dem Schalthebel und der Vierradantriebs(4WD)-Steuerung befindet. Bei manchen Beispielen kann die Spezifizität derartiger Näherungsbefehle davon abhängen, wie dicht sich die Hand an irgendeinem bestimmten Steuerelement befindet. Beispielsweise kann das Bewegungserkennungsmodul 120 bestimmen, dass die Hand das 4WD-Steuerelement berührt. Auf diese Weise liefert das Bewegungserkennungsmodul 120 Handpositionsdaten und die Näherungsbefehlsdaten an das Fahrzeugassistenzmodul 124.
-
Das Spracherkennungsmodul 122 ist kommunikativ mit dem Mikrofon 116 gekoppelt. Das Spracherkennungsmodul 122 liefert Spracherkennung an das Fahrzeugassistenzmodul 124. Das Spracherkennungsmodul 122 lauscht passiv auf eine Eingabeaufforderungsphrase von einem Benutzer. Beispielsweise kann die Eingabeaufforderungsphrase „Hilf mir Henry“ sein. Bei manchen Beispielen informiert das Spracherkennungsmodul 122 das Fahrzeugassistenzmodul 124 nach dem Erkennen der Eingabeaufforderungsphrase. Alternativ oder zusätzlich lauscht das Spracherkennungsmodul 122 bei manchen Beispielen auf einen Befehl und/oder auf eine Phrase. Bei manchen derartigen Beispielen erkennt das Spracherkennungsmodul 122 eine Liste von Wörtern, die sich auf Befehle und/oder Funktionalitäten des Fahrzeugs 103 beziehen. Bei derartigen Beispielen liefert das Spracherkennungsmodul 122 Befehlsdaten an das Fahrzeugassistenzmodul 124, die den Befehl und/oder die Funktionalitäten, die durch den vom Benutzer gesprochenen Befehl und/oder die Phrase spezifiziert werden, identifizieren. Beispielsweise kann das Spracherkennungsmodul 122 „Vierradantrieb“ und „Schlummerbeleuchtung“ usw. erkennen.
-
Alternativ oder zusätzlich kann das Spracherkennungsmodul 122 bei manchen Beispielen kommunikativ mit einem zentralen Spracherkennungsdienst 108 auf dem Netzwerk 112 gekoppelt sein. Bei derartigen Beispielen erkennt das Spracherkennungsmodul 122 zusammen mit dem zentralen Spracherkennungsdienst 108 Phrasen und/oder natürliche Sprache. Bei manchen Beispielen sendet das Spracherkennungsmodul 122 Sprachdaten an den zentralen Spracherkennungsdienst 108, und der zentrale Spracherkennungsdienst 108 gibt Sprachbefehlsdaten mit den anhand der Sprachdaten spezifizierten Befehlen und/oder Funktionalitäten zurück. Falls der Benutzer beispielsweise „Hilf mir Henry. Zeige mir, wie der Vierradantrieb funktioniert“ sagt, würden die Sprachbefehlsdaten anzeigen, dass der Benutzer über das 4WD-Subsystem anfragt.
-
Bei manchen Beispielen beinhaltet das Spracherkennungsmodul 122 auch Stimmenerkennung. Bei derartigen Beispielen wird das Spracherkennungsmodul 122 während eines anfänglichen Set-Up-Verfahrens trainiert zum Erkennen der Stimme eines bestimmten Benutzers oder von Benutzern. Auf diese Weise kann das Spracherkennungsmodul 122 beispielsweise nur dann auf die Eingabeaufforderungsphrase reagieren, wenn sie von dem bestimmten Benutzer oder den Benutzern gesprochen wird, so dass andere Quellen (z.B. das Radio, Kinder usw.) die Sprach-Stimmen-Erkennungsfähigkeiten des Spracherkennungsmoduls 122 nicht aktivieren.
-
Das Fahrzeugassistenzmodul 124 bestimmt, wann die Informationen über einen Befehl oder eine Funktionalität auf einer der Anzeigen (z.B. der Mittelkonsolenanzeige 114) der Infotainment-Bedieneinheit 102 angezeigt werden sollen. Das Fahrzeugassistenzmodul 124 ist kommunikativ mit dem Bewegungserkennungsmodul 120 und dem Spracherkennungsmodul 122 gekoppelt. Das Fahrzeugassistenzmodul 124 empfängt oder ruft sonstwie die Handpositionsdaten und die Näherungsbefehlsdaten von dem Bewegungserkennungsmodul 120 ab. Das Fahrzeugassistenzmodul 124 empfängt oder ruft sonstwie die Sprachbefehlsdaten von dem Spracherkennungsmodul 122 ab. Bei manchen Beispielen verfolgt das Fahrzeugassistenzmodul 124, auf welche Befehle zugegriffen wurde (z.B. aktiviert, geändert usw.).
-
Basierend auf den Handpositionsdaten, den Näherungsbefehlsdaten und/oder den Sprachbefehlsdaten bestimmt das Fahrzeugassistenzmodul 124, wann ein Benutzer von Hilfe hinsichtlich eines Befehls profitieren würde. Bei manchen Beispielen bestimmt das Fahrzeugassistenzmodul 124, die Informationen anzuzeigen, wenn die Handdaten und/oder die Näherungsbefehlsdaten anzeigen, dass die Hand des Benutzers (a) nahe an einem der Befehlseingänge 200a bis 200m (z.B. eine Taste, ein Knauf, ein Hebelsteuerelement usw.) für eine Schwellenzeitdauer (z.B. fünf Sekunden, zehn Sekunden usw.) verweilt oder diesen berührt hat oder (b) sich einem der Befehlseingänge 200a bis 200m für eine Schwellenanzahl (z.B. dreimal, fünfmal usw.) in einem Zeitraum (z.B. fünfzehn Sekunden, dreißig Sekunden usw.) angenähert hat. Beispielsweise kann das Fahrzeugassistenzmodul 124 Informationen hinsichtlich der Lichtsteuerelemente anzeigen, wenn die Hand des Benutzers nahe dem Fahrzeugbeleuchtungssteuerhebel verweilt.
-
Bei manchen Beispielen bestimmt das Fahrzeugassistenzmodul 124, Informationen anzuzeigen, wenn (i) die Handdaten und/oder die Näherungsbefehlsdaten anzeigen, dass sich die Hand des Benutzers nahe an einem der Befehlseingänge 200a bis 200m befindet und (ii) Sprachbefehlsdaten anzeigen, dass der Benutzer die Eingabeaufforderungsphrase gesagt hat. Beispielsweise kann das Fahrzeugassistenzmodul 124 Informationen hinsichtlich Fahrzeugmodi (z.B. Eco-Modus, Sport-Modus, Komfort-Modus) anzeigen, wenn die Handdaten und/oder die Näherungsbefehlsdaten anzeigen, dass die Hand des Benutzers die Modussteuertaste berührt, während der Benutzers „Hilf mir Henry“ sagt.
-
Bei manchen Beispielen bestimmt das Fahrzeugassistenzmodul 124, Informationen anzuzeigen, wenn die Sprachbefehlsdaten anzeigen, dass der Benutzer über ein bestimmtes Steuerelement oder eine bestimmte Funktionalität anfragt. Beispielsweise kann das Fahrzeugassistenzmodul 124 Informationen hinsichtlich der Bluetooth®-Einstellungen anzeigen; wobei die Sprachbefehlsdaten anzeigen, dass der Benutzer über das Bluetooth®-Subsystem angefragt hat. Bei manchen Beispielen bestimmt das Fahrzeugassistenzmodul 124, Informationen anzuzeigen, wenn sich die Einstellungen eines der Befehlseingänge 200a bis 200m für eine Schwellenanzahl (z.B. dreimal, fünfmal usw.) in einem Zeitraum (z.B. fünfzehn Sekunden, dreißig Sekunden usw.) geändert haben. Beispielsweise kann das Fahrzeugassistenzmodul 124, als Reaktion darauf, dass die Front- und Heckscheibenwischer-Steuerelemente in einem kurzen Zeitraum häufig geändert wurden, Informationen hinsichtlich der Front- und Heckscheibenwischer-Steuerelemente anzeigen.
-
Als Reaktion auf das Bestimmen, Informationen anzuzeigen, zeigt das Fahrzeugassistenzmodul 124 anfänglich Informationen mit einem ersten Detailgrad an. Der erste Detailgrad beinhaltet (a) Informationen im Fahrerhandbuch, (b) übergeordnete Kurzfassungen der relevanten Steuerelemente (z.B. wie durch die Handpositionsdaten, die Näherungsbefehlsdaten und/oder die Sprachbefehlsdaten usw. angezeigt) und/oder (c) Hauptfunktionalitäten (z.B. wie man die Nebellampen ein- und ausschaltet, wie man die Wischergeschwindigkeit anpasst usw.) der relevanten Steuerelemente usw. Beim veranschaulichten Beispiel von 1 sind die Informationen für den ersten Detailgrad in der Fahrzeugassistenzdatenbank 126 gespeichert. Die Fahrzeugassistenzdatenbank 126 ist irgendeine geeignete Datenstruktur (z.B. eine relationale Datenbank, eine hierarchielose Datei usw.), die zum Speichern von Daten auf eine durchsuchbare Weise verwendet wird. Beispielsweise kann die Fahrzeugassistenzdatenbank 126 einen Eintrag für Heizung, Lüftung und Klimaanalagen(HLK)-Steuerelemente mit Bildern, Text und/oder Tonaufnahmen beinhalten. Bei manchen Beispielen empfängt die Fahrzeugassistenzdatenbank 126 von Zeit zu Zeit Aktualisierungen von einer zentralen Assistenzdatenbank 110.
-
Wenn der erste Informationsgrad angezeigt wird, überwacht das Fahrzeugassistenzmodul 124 über das Bewegungserkennungsmodul 120 und das Spracherkennungsmodul 122 den/die Benutzer im Fahrgastraum des Fahrzeugs 103. Als Reaktion auf die Handpositionsdaten, die Näherungsbefehlsdaten und/oder die Sprachbefehlsdaten, die anzeigen, dass der Benutzer weiter über die Steuerfunktion verwirrt ist, die sich auf die gerade mit dem ersten Detailgrad angezeigten Informationen (z.B. unter Verwendung der oben beschriebenen Techniken) bezieht, zeigt das Fahrzeugassistenzmodul 124 Informationen hinsichtlich der Steuerfunktion mit einem zweiten Detailgrad an. Falls das Fahrzeugassistenzmodul 124 beispielsweise zu einem ersten Zeitpunkt Informationen hinsichtlich der HLK-Steuerelemente mit einem ersten Detailgrad anzeigt, und das Bewegungserkennungsmodul 120 zu einem zweiten Zeitpunkt die Hand des Benutzers detektiert, die nahe den HLK-Steuerelementen verweilt, kann das Fahrzeugassistenzmodul 124 Informationen hinsichtlich der HLK-Steuerelemente mit einem zweiten Detailgrad anzeigen. Bei manchen Beispielen, wenn das Fahrzeugassistenzmodul 124 Informationen mit dem ersten Detailgrad anzeigt, erkennt das Spracherkennungsmodul 122 eine zweite Eingabeaufforderungsphrase (z.B. „Mehr Info, Henry“ usw.). Bei derartigen Beispielen zeigt das Fahrzeugassistenzmodul 124 unabhängig von der Position der Hand des Benutzers Informationen hinsichtlich der Steuerelementfunktion mit dem zweiten Detailgrad an.
-
Bei dem veranschaulichten Beispiel ist das Fahrzeugassistenzmodul 124 kommunikativ mit der zentralen Assistenzdatenbank 110 gekoppelt. Die zentrale Assistenzdatenbank 110 beinhaltet die Informationen mit dem zweiten Detailgrad. Der zweite Detailgrad kann (a) Videos, (b) in Echtzeit zusammengetragene Informationen aufgrund von Kundenkommentaren an Callcenter und/oder Online-Centers, (c) Kurzfassungen technischer Händlerkommentare und/oder (d) zusammengetragene Online-Benutzerquellen (Foren, Webseiten, Tutorien usw.) usw. beinhalten. Die zentrale Assistenzdatenbank 110 wird von irgendeiner geeigneten Entität unterhalten, die Problembehandlungshilfe für Fahrer liefert (z.B. Fahrzeughersteller, technische Drittpartei-Unterstützungsfirmen usw.).
-
3 bildet Elektronikkomponenten 300 zum Implementieren der Fahrzeugassistenzeinheit von 1 ab. In dem veranschaulichten Beispiel beinhalten die Elektronikkomponenten 300 eine Bordkommunikationsplattform 302, die Infotainment-Bedieneinheit 102, eine Bordrechnerplattform 304, Sensoren 306, einen ersten Fahrzeugdatenbus 308 und einen zweiten Fahrzeugdatenbus 310.
-
Die Bordkommunikationsplattform 302 beinhaltet verdrahtete oder drahtlose Netzwerkschnittstellen zum Ermöglichen von Kommunikation mit externen Netzwerken 112. Die Bordkommunikationsplattform 302 beinhaltet auch Hardware (z.B. Prozessoren, Speicher, Speicherung, Antenne usw.) und Software zum Steuern der verdrahteten oder drahtlosen Netzwerkschnittstellen. Die Bordkommunikationsplattform 302 beinhaltet drahtlose Lokalnetz-Steuerungen 312 (einschließlich IEEE 802.11 a/b/g/n/ac oder andere) und/oder eine oder mehrere Mobilfunksteuerungen 314 für standardbasierte Netze (z.B. GSM (Global System for Mobile Communications), UMTS (Universal Mobile Telecommunications System), LTE (Long Term Evolution), CDMA (Code Division Multiple Access), WiMAX (IEEE 802.16m); und Wireless Gigabit (IEEE 802.11ad) usw.). Die Bordkommunikationsplattform 302 kann ebenfalls einen Global Positioning System(GPS)-Empfänger und/oder (eine) drahtlose Kurzreichweiten-Kommunikationssteuerung(en) (z.B. Bluetooth®, Zigbee®, Nahfeldkommunikation usw.) beinhalten.
-
Weiterhin kann es sich bei dem bzw. den externen Netzwerken 112 um ein öffentliches Netzwerk, wie etwa das Internet, ein privates Netzwerk, wie etwa ein Intranet, oder Kombinationen davon handeln, und es bzw. sie kann bzw. können eine Vielzahl von jetzt verfügbaren oder später entwickelten Netzwerkprotokollen nutzen, einschließlich unter anderem TCP/IP-basierter Netzwerkprotokolle. Bei manchen Beispielen sind der zentrale Spracherkennungsdienst 108 und die zentrale Assistenzdatenbank 110 auf Servern gehostet, die mit dem/den externen Netzwerk(en) 112 verbunden sind. Beispielsweise können der zentrale Spracherkennungsdienst 108 und die zentrale Assistenzdatenbank 110 über einen Cloud-Anbieter (z.B. Microsoft Azure, Google Cloud Computing, Amazon Webservices usw.) gehostet werden. Das Spracherkennungsmodul 122 ist kommunikativ über die Bordkommunikationsplattform 302 mit dem zentralen Spracherkennungsdienst 108 gekoppelt. Zusätzlich ist das Fahrzeugassistenzmodul 124 kommunikativ über die Bordkommunikationsplattform 302 mit der zentralen Assistenzdatenbank 110 gekoppelt. Die Bordkommunikationsplattform 302 kann auch eine verdrahtete oder drahtlose Schnittstelle zum Ermöglichen einer direkten Kommunikation mit einer elektronischen Vorrichtung (wie etwa ein Smartphone, ein Tablet-Computer, ein Laptop usw.) beinhalten.
-
Die Bordrechnerplattform 304 beinhaltet einen Prozessor oder eine Steuerung 316, Speicher 318 und Speicherung 320. Die Bordrechnerplattform 304 ist dafür strukturiert, das Bewegungserkennungsmodul 120, das Spracherkennungsmodul 122 und/oder das Fahrzeugassistenzmodul 124 zu beinhalten. Alternativ kann/können das Bewegungserkennungsmodul 120 und/oder das Spracherkennungsmodul 122 und/oder das Fahrzeugassistenzmodul 124 eine elektronische Steuerungseinheit mit separaten/m Prozessor(en), Speicher und/oder Speicherung sein. Bei dem Prozessor oder der Steuerung 316 kann es sich um eine beliebige geeignete Verarbeitungsvorrichtung oder einen Satz von Verarbeitungsvorrichtungen handeln, wie etwa unter anderem einen Mikroprozessor, eine Plattform auf Mikrocontrollerbasis, eine geeignete integrierte Schaltung, eine oder mehrere feldprogrammierbare Gate-Arrays (FPGAs) oder eine oder mehrere anwendungsspezifische integrierte Schaltungen (ASICs). Der Speicher 318 kann ein flüchtiger Speicher (zum Beispiel ein RAM, der einen nichtflüchtigen RAM, magnetischen RAM, ferroelektrischen RAM und beliebige andere geeignete Formen aufweisen kann), ein nichtflüchtiger Speicher (zum Beispiel Plattenspeicher, FLASH-Speicher, EPROMs, EEPROMs, nichtflüchtige Festkörperspeicher auf Memristor-Basis usw.), unveränderlicher Speicher (zum Beispiel EPROMs) und Nurlesespeicher sein. Bei manchen Beispielen beinhaltet der Speicher 318 mehrere Arten von Speicher, insbesondere flüchtigen Speicher und einen nichtflüchtigen Speicher. Die Speicherung 320 kann eine beliebige Speichervorrichtung mit hoher Kapazität beinhalten, wie etwa eine Festplatte und/oder ein Festkörperlaufwerk. Bei manchen Beispielen beinhaltet die Speicherung 320 die Fahrzeugassistenzdatenbank 126.
-
Der Speicher 318 und die Speicherung 320 sind ein computerlesbares Medium, auf dem ein oder mehrere Sätze von Anweisungen, wie etwa die Software zum Betreiben der Verfahren der vorliegenden Offenbarung, eingebettet sein können. Die Anweisungen können ein oder mehrere der hier beschriebenen Verfahren oder der Logik umsetzen. Bei einer speziellen Ausführungsform können sich die Anweisungen, während der Ausführung der Anweisungen, vollständig oder zumindest teilweise im Speicher 318 und/oder dem computerlesbaren Medium und/oder innerhalb der Steuerung 316 befinden.
-
Es versteht sich, dass die Begriffe „nichtvergängliches computerlesbares Medium“ und „computerlesbares Medium“ ein einzelnes Medium oder mehrere Medien umfassen, wie zum Beispiel eine zentralisierte oder verteilte Datenbank und/oder assoziierte Caches und Server, die einen oder mehrere Sätze von Anweisungen speichern. Die Begriffe „nichtvergängliches computerlesbares Medium“ und „computerlesbares Medium“ beinhalten außerdem jedes greifbare Medium, das in der Lage ist, einen Satz von Anweisungen zur Ausführung durch einen Prozessor zu speichern, zu codieren oder zu führen, oder das bewirkt, dass ein System eines oder mehrere der hier offenbarten Verfahren oder Operationen durchführt. Wie hier verwendet, ist der Begriff „computerlesbares Medium“ ausdrücklich so definiert, dass er eine beliebige Art von computerlesbarer Speichervorrichtung und/oder Speicherplatte aufweist und sich ausbreitende Signale ausschließt.
-
Die Sensoren 306 können im und um den Fahrgastraum des Fahrzeugs 103 herum auf eine beliebige geeignete Art und Weise angeordnet sein. Bei dem veranschaulichten Beispiel beinhalten die Sensoren 306 die Kamera(s) 104 und das Mikrofon 116. Die Kamera(s) 104 ist/sind in dem Fahrgastraum positioniert, um die Befehlseingänge 200a bis 200m aufzunehmen, wenn sich der Fahrer im Fahrersitz befindet. Beispielsweise kann eine der Kamera(s) 104 in dem Gehäuse des Rückspiegels positioniert sein und/oder eine der Kamera(s) 104 kann am Gehäuse der Dachhimmelbeleuchtung positioniert sein. Das Mikrofon 116 ist zum Aufnehmen der Stimme des Fahrers des Fahrzeugs 103 positioniert. Beispielsweise kann das Mikrofon 116 am Lenkrad oder an einem beliebigen anderen für fahrzeuginterne Stimmenerkennungssysteme geeigneten Ort (z.B. die Infotainment-Bedieneinheit 102) positioniert sein.
-
Der erste Fahrzeugdatenbus 308 koppelt die Sensoren 306, die Bordrechnerplattform 304 und andere Vorrichtungen, die mit dem ersten Fahrzeugdatenbus 308 verbunden sind, kommunikativ. Bei einigen Beispielen ist der erste Fahrzeugdatenbus 308 in Übereinstimmung mit dem Controller Area Network(CAN)-Bus-Protokoll umgesetzt, wie von International Standards Organization (ISO) 11898-1 definiert. Alternativ kann bei einigen Beispielen der erste Fahrzeugdatenbus 308 ein Media Oriented Systems Transport(MOST)-Bus oder ein CAN Flexible Data(CAN-FD)-Bus (ISO 11898-7) sein. Der zweite Fahrzeugdatenbus 310 koppelt die Bordkommunikationsplattform 302, die Infotainment-Bedieneinheit 102 und die Bordrechnerplattform 304 kommunikativ. Der zweite Fahrzeugdatenbus 310 kann ein MOST-Bus, ein CAN-FD-Bus oder ein Ethernet-Bus sein. Bei einigen Beispielen isoliert die Bordrechnerplattform 304 kommunikativ den ersten Fahrzeugdatenbus 308 und den zweiten Fahrzeugdatenbus 310 (zum Beispiel über Firewalls, Nachrichtenbroker usw.). Als Alternative können bei einigen Beispielen der erste Fahrzeugdatenbus 308 und der zweite Fahrzeugdatenbus 310 derselbe Datenbus sein.
-
4 ist ein Flussdiagramm, das ein beispielhaftes Verfahren zum Bereitstellen der Fahrzeugassistenzeinheit 106 aus 1 darstellt, die von den Elektronikkomponenten 300 aus 3 implementiert werden kann. Anfangs überwacht das Fahrzeugassistenzmodul 124 über die Sensoren 306 (z.B. die Kamera(s) 104, das Mikrofon 116 usw.) den Fahrgastraum des Fahrzeugs 103 (Block 400). Das Spracherkennungsmodul 122 lauscht danach, ob ein Benutzer (z.B. ein Fahrer, ein Passagier usw.) die Eingabeaufforderungsphrase gesprochen hat (Block 402). Falls das Spracherkennungsmodul 122 bestimmt, dass der Benutzer die Eingabeaufforderungsphrase gesprochen hat, interpretiert das Spracherkennungsmodul 122 die auf die Eingabeaufforderungsphrase folgende Sprache (Block 404). Bei manchen Beispielen sendet das Spracherkennungsmodul 122 die auf die Eingabeaufforderungsphrase folgende Sprache an den zentralen Spracherkennungsdienst 108 zwecks weiterer Verarbeitung (z.B., um natürliche Sprache zu interpretieren usw.). Das Spracherkennungsmodul 122 bestimmt, ob der Benutzer Informationen hinsichtlich eines Subsystems und/oder eines der Befehlseingänge 200a bis 200m anfragt (Block 406). Falls das Spracherkennungsmodul 122 bestimmt, dass der Benutzer Informationen angefragt hat, zeigt (z.B. über die Mittelkonsolenanzeige 114) das Fahrzeugassistenzmodul 124 relevante Informationen mit einem ersten Detailgrad an (Block 408). Falls der Benutzer beispielsweise „Hilf mir, Henry, wo ist der Nebelleuchtenschalter“ sagt, kann das Fahrzeugassistenzmodul 124 eine Seite oder Seiten aus dem Benutzerhandbuch über den Nebelleuchtenschalter anzeigen. Bei manchen Beispielen sind die Informationen mit dem ersten Detailgrad in der Fahrzeugassistenzdatenbank 126 gespeichert. Falls das Spracherkennungsmodul 122 bestimmt, dass der Benutzer keine Informationen angefragt hat, macht das Fahrzeugassistenzmodul 124 mit dem Überwachen des Fahrgastraums weiter (Block 400).
-
Falls das Spracherkennungsmodul 122 bei Block 402 bestimmt, dass der Benutzer die Eingabeaufforderungsphrase nicht gesprochen hat, bestimmt das Bewegungserkennungsmodul 120, ob sich die Hand des Fahrers innerhalb einer der Zonen A bis I und/oder nahe an einem der Befehlseingänge 200a bis 200m befindet (Block 410). Falls das Bewegungserkennungsmodul 120 bestimmt, dass sich die Hand des Fahrers nicht innerhalb einer der Zonen A bis I und/oder nahe an einem der Befehlseingänge 200a bis 200m befindet, macht das Fahrzeugassistenzmodul 124 mit dem Überwachen des Fahrgastraums weiter (Block 400). Falls das Bewegungserkennungsmodul 120 bestimmt, dass sich die Hand des Fahrers innerhalb einer der Zonen A bis I und/oder nahe an einem der Befehlseingänge 200a bis 200m befindet, inkrementiert das Fahrzeugassistenzmodul 124 einen entsprechenden Zähler für die spezielle Zone und/oder den speziellen der Befehlseingänge 200a bis 200m (Block 412). Bei manchen Beispielen dekrementiert das Fahrzeugassistenzmodul 124 von Zeit zu Zeit (z.B. alle fünf Sekunden, alle zehn Sekunden usw.) automatisch die Zähler für die Zonen A bis I und/oder die Befehlseingänge 200a bis 200m. Das Fahrzeugassistenzmodul 124 bestimmt, ob der bei Block 412 inkrementierte Zähler eine erste Schwelle (z.B. drei, fünf, zehn usw.) erfüllt (z.B. ist größer als oder gleich)(Block 414). Die erste Schwelle ist ausgelegt zum Detektieren, ob der Fahrer wiederholt während eines relativ kurzen Zeitraums nach einem der Befehlseingänge 200a bis 200m ausgreift. Falls der bei Block 412 inkrementierte Zähler die erste Schwelle erfüllt, zeigt (z.B. über die Mittelkonsolenanzeige 114) das Fahrzeugassistenzmodul 124 Informationen hinsichtlich einer speziellen der Zonen A bis I und/oder eines speziellen Befehlseingangs 200a bis 200m mit einem ersten Detailgrad an (Block 408). Ansonsten macht das Fahrzeugassistenzmodul 124 weiter mit dem Überwachen des Fahrgastraums, falls der bei Block 412 inkrementierte Zähler die erste Schwelle nicht erfüllt (Block 400).
-
Nach dem Anzeigen der Informationen mit dem ersten Detailgrad macht das Fahrzeugassistenzmodul 124 mit dem Überwachen des Fahrgastraums weiter (Block 416). Das Spracherkennungsmodul 122 lauscht danach, ob der Benutzer die Eingabeaufforderungsphrase gesprochen hat (Block 418). Falls das Spracherkennungsmodul 122 bestimmt, dass der Benutzer die Eingabeaufforderungsphrase gesprochen hat, interpretiert das Spracherkennungsmodul 122 die auf die Eingabeaufforderungsphrase folgende Sprache (Block 420). Bei manchen Beispielen sendet das Spracherkennungsmodul 122 die auf die Eingabeaufforderungsphrase folgende Sprache an den zentralen Spracherkennungsdienst 108 zwecks weiterer Verarbeitung (z.B., um natürliche Sprache zu interpretieren usw.). Das Spracherkennungsmodul 122 bestimmt, ob der Benutzer weitere Informationen hinsichtlich des Subsystems und/oder eines der Befehlseingänge 200a bis 200m, für die Informationen mit dem ersten Detailgrad bei Block 408 angezeigt wurden, angefragt hat (Block 422). Falls das Spracherkennungsmodul 122 bestimmt, dass der Benutzer weitere Informationen angefragt hat, zeigt das Fahrzeugassistenzmodul 124 relevante Informationen mit einem zweiten Detailgrad an (Block 424). Bei manchen Beispielen sind die Informationen mit dem zweiten Detailgrad in der zentralen Assistenzdatenbank 110 gespeichert. Falls das Spracherkennungsmodul 122 bestimmt, dass der Benutzer keine weiteren Informationen angefragt hat, zeigt das Fahrzeugassistenzmodul 124 Informationen hinsichtlich dessen, was der Benutzer angefragt hat, mit einem ersten Detailgrad an (Block 408).
-
Falls das Spracherkennungsmodul 122 bei Block 402 bestimmt, dass der Benutzer die Eingabeaufforderungsphrase nicht gesprochen hat, bestimmt das Bewegungserkennungsmodul 120, ob sich die Hand des Fahrers innerhalb der Zonen A bis I und/oder nahe dem einen der Befehlseingänge 200a bis 200m, für den die erste Schwelle bei Block 414 erfüllt war, befindet (Block 426). Falls dem so ist, zeigt das Fahrzeugassistenzmodul 124 relevante Informationen mit einem zweiten Detailgrad an (Block 424). Ansonsten macht das Fahrzeugassistenzmodul 124 mit dem Überwachen des Fahrgastraums weiter (Block 400).
-
Ein Prozessor (wie etwa der Prozessor 316 von 3) führt das Flussdiagramm von 4 aus, um das Fahrzeug 103 zu veranlassen, das Bewegungserkennungsmodul 120, das Spracherkennungsmodul 122, das Fahrzeugassistenzmodul und/oder allgemeiner die Fahrzeugassistenzeinheit 106 von 1 umzusetzen. Obwohl das Beispielprogramm unter Bezugnahme auf das in 4 veranschaulichte Flussdiagramm beschrieben wird, können alternativ viele andere Verfahren des Umsetzens des beispielhaften Bewegungserkennungsmoduls 120, des beispielhaften Spracherkennungsmoduls 122, des beispielhaften Fahrzeugassistenzmoduls und/oder allgemeiner der beispielhaften Fahrzeugassistenzeinheit 106 verwendet werden. Beispielsweise kann die Ausführungsreihenfolge der Blöcke verändert werden und/oder manche der beschriebenen Blöcke können verändert, entfernt oder kombiniert werden.
-
Bei dieser Anmeldung soll die Verwendung des Disjunktivs den Konjunktiv einschließen. Die Verwendung von bestimmten oder unbestimmten Artikeln soll nicht die Kardinalität anzeigen. Insbesondere soll ein Verweis auf „das“ Objekt oder „ein“ Objekt auch die mögliche Mehrzahl solcher Objekte bezeichnen. Ferner kann die Konjunktion „oder“ zum Anführen von Merkmalen verwendet werden, die im Gegensatz zu sich gegenseitig ausschließenden Alternativen gleichzeitig vorhanden sind. Mit anderen Worten ist die Konjunktion „oder“ so zu verstehen, dass sie die Konjunktion „und/oder“ einschließt. Die Begriffe „beinhaltet“, „beinhaltend“ und „beinhalten“ sind einschließend und besitzen den gleichen Umfang wie „umfasst“, „umfassend“ bzw. „umfassen“.
-
Die oben beschriebenen Ausführungsformen und insbesondere alle „bevorzugten“ Ausführungsformen sind mögliche Beispiele für Implementierungen und sind lediglich für ein klares Verständnis der Prinzipien der Erfindung dargelegt. Viele Variationen und Modifikationen können an der bzw. den oben beschriebenen Ausführungsform(en) vorgenommen werden, ohne im Wesentlichen vom Wesen und den Prinzipien der hier beschriebenen Techniken abzuweichen. Alle Modifikationen sollen hier im Schutzumfang dieser Offenbarung eingeschlossen und durch die folgenden Ansprüche geschützt sein.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- IEEE 802.11 a/b/g/n/ac [0030]
- IEEE 802.16m [0030]
- IEEE 802.11ad [0030]
- (ISO) 11898-1 [0036]
- ISO 11898-7 [0036]