DE102012212217B4

DE102012212217B4 - Steuersystem für ein Fahrzeug

Info

Publication number: DE102012212217B4
Application number: DE102012212217.6A
Authority: DE
Inventors: Amanda J. Kalhous; Fuad Al-Amin; Jarvis Chau; Norman J. Weigert
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2011-07-19
Filing date: 2012-07-12
Publication date: 2020-10-29
Anticipated expiration: 2032-07-13
Also published as: US9043042B2; CN102887121A; US20130024047A1; CN102887121B; DE102012212217A1

Abstract

Steuersystem (10) für ein Fahrzeug (12), umfassend:ein erstes Modul (34), das auf der Grundlage von Bilddaten (40) einen Fokus (46) eines Insassen (13) eines Fahrzeugs (12) bestimmt, wobei die Bilddaten (40) unter Verwendung eines Bildprozessors (26) von dem Insassen (13) erfasst werden;ein zweites Modul (38), das auf der Grundlage des Fokus (46) des Insassen (13) einen Anwenderbefehl (56) zum Steuern eines Fahrzeugsystems (16a-16n) erzeugt;ein drittes Modul (32), das die Bilddaten (40) analysiert, um aus den Bilddaten (40) Augendaten (42) und/oder Gesichtsdaten (44) zu bestimmen; undein viertes Modul (36), das Anzeigedaten (50) zum Anzeigen einer dem Fahrzeugsystem (16a-16n) zugeordneten Anwenderschnittstelle erzeugt,wobei das erste Modul (34) auf der Grundlage der Augendaten (42) und/oder der Gesichtsdaten (44) den Fokus (46) des Insassen (13) bestimmt,wobei das vierte Modul (36) dem dritten Modul (38) die Anzeigedaten (50) zur Verfügung stellt,wobei das zweite Modul (38) eine Auswahl (54) des Insassen (13) auf der Grundlage des Fokus (46) in Bezug auf die Anwenderschnittstelle bestimmt, indem das zweite Modul (38) Koordinaten des Fokus (46) auf Koordinaten der Anzeigedaten (50) abbildet und eine den Koordinaten zugeordnete Funktion bestimmt,wobei das zweite Modul (38) den Anwenderbefehl (56) auf der Grundlage der Auswahl (54) des Insassen erzeugt, undwobei das vierte Modul (36) die Auswahl (54) des Insassen von dem zweiten Modul (38) empfängt und die Anzeigedaten (50) auf der Grundlage der Auswahl (54) des Insassen derart ändert, dass die Anwenderschnittstelle einen neuen Bildschirm anzeigt.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung bezieht sich auf ein Steuersystem für ein Fahrzeug.
HINTERGRUND
Die Hauptsteuereinrichtungen für Fahrzeug-Entertainment-Systeme sind üblicherweise in der Mitte des Fahrzeugarmaturenbretts angeordnet. Um das Entertainment-System zum Ausführen einer Funktion zu bedienen, ändert ein Fahrer vorübergehend den Fokus seiner Aufmerksamkeit von der Straße auf das Entertainment-System.
Dementsprechend ist es erwünscht, Systeme und Verfahren zu schaffen, um Fahrzeugfunktionen zu bedienen, ohne den Fokus des Fahrers zu ändern.
Herkömmliche Steuersysteme für Fahrzeuge sind in den Druckschriften WO 2009 / 049 975 A1 , US 2009 / 0 097 705 A1 , EP 1 562 102 A2 , DE 101 21 392 A1 , US 5 689 619 A und DE 10 2009 034 069 A1 beschrieben.
ZUSAMMENFASSUNG DER ERFINDUNG
Ein erfindungsgemäßes Steuersystem für ein Fahrzeug umfasst ein erstes, ein zweites, ein drittes und ein viertes Modul. Das erste Modul bestimmt auf der Grundlage von Bilddaten einen Fokus eines Insassen eines Fahrzeugs, wobei die Bilddaten unter Verwendung eines Bildprozessors von dem Insassen erfasst werden. Das zweite Modul erzeugt auf der Grundlage des Fokus des Insassen einen Anwenderbefehl zum Steuern eines Fahrzeugsystems. Das dritte Modul analysiert die Bilddaten, um aus den Bilddaten Augendaten und/oder Gesichtsdaten zu bestimmen. Das vierte Modul erzeugt Anzeigedaten zum Anzeigen einer dem Fahrzeugsystem zugeordneten Anwenderschnittstelle. Ferner bestimmt das erste Modul auf der Grundlage der Augendaten und/oder der Gesichtsdaten den Fokus des Insassen. Das vierte Modul stellt dem dritten Modul die Anzeigedaten zur Verfügung. Das zweite Modul bestimmt eine Auswahl des Insassen auf der Grundlage des Fokus in Bezug auf die Anwenderschnittstelle, indem das zweite Modul Koordinaten des Fokus auf Koordinaten der Anzeigedaten abbildet und eine den Koordinaten zugeordnete Funktion bestimmt. Das zweite Modul erzeugt den Anwenderbefehl auf der Grundlage der Auswahl des Insassen. Das vierte Modul empfängt die Auswahl des Insassen von dem zweiten Modul und ändert die Anzeigedaten auf der Grundlage der Auswahl des Insassen derart, dass die Anwenderschnittstelle einen neuen Bildschirm anzeigt.
Die obigen Merkmale und Vorteile und andere Merkmale und Vorteile der Erfindung gehen leicht aus der folgenden ausführlichen Beschreibung der Erfindung in Verbindung mit den beigefügten Zeichnungen hervor.
Figurenliste
Weitere Merkmale, Vorteile und Einzelheiten erscheinen nur beispielhaft in der folgenden ausführlichen Beschreibung von Ausführungsformen, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht, in denen:

1 ein Funktionsblockschaltplan ist, der ein Fahrzeug darstellt, das ein Fahrerblickrichtungs-Steuersystem gemäß beispielhaften Ausführungsformen enthält;
2 ein Datenflussdiagramm ist, das ein Fahrerblickrichtungs-Steuermodul gemäß beispielhaften Ausführungsformen darstellt; und
3 ein Ablaufplan ist, der ein Fahrerblickrichtungs-Steuerverfahren gemäß beispielhaften Ausführungsformen darstellt.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Die folgende Beschreibung ist dem Wesen nach lediglich beispielhaft. Selbstverständlich bezeichnen entsprechende Bezugszeichen in allen Zeichnungen gleiche oder entsprechende Teile und Merkmale. Wie er hier verwendet ist, bezieht sich der Begriff Modul auf eine anwendungsspezifische integrierte Schaltung (ASIC), auf eine elektronische Schaltung, auf einen Prozessor (gemeinsam genutzt, dediziert oder Gruppe) und auf Speicher, die eines oder mehrere Software- oder Firmwareprogramme ausführen, auf eine Kombinationslogikschaltung und/oder auf andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen.
Gemäß beispielhaften Ausführungsformen ist ein allgemein bei 10 gezeigtes blickrichtungsgestütztes Steuersystem in der Weise gezeigt, dass es innerhalb eines Fahrzeugs 12 enthalten ist. Das blickrichtungsgestützte Steuersystem 10 verarbeitet Netzhautinformationen eines Fahrers 13 oder eines anderen Insassen des Fahrzeugs 12 und erzeugt darauf beruhend Steuersignale zum Steuern von Funktionen von Fahrzeugsystemen 16a-16n. Solche Fahrzeugsysteme 16a-16n können z. B. ein Entertainmentsystem, ein Navigationssystem, ein Telematiksystem und/oder irgendein anderes System innerhalb des Fahrzeugs enthalten, sind darauf aber nicht beschränkt. Es wird gewürdigt werden, dass die Steuersignale an Steuermodule 18a-18n, die den Fahrzeugsystemen 16a-16n zugeordnet sind, über ein Fahrzeugnetz 20 (wie allgemein bei 22 gezeigt) übertragen werden können und/oder (wie allgemein bei 24 gezeigt) direkt an das Fahrzeugsystem 16n' übertragen werden können.
In verschiedenen Ausführungsformen enthält das blickrichtungsgestützte Steuersystem 10 einen Bildprozessor 26, der Bilddaten des Fahrers 13 erfasst, und ein Mensch-Maschine-Schnittstellenmodul (HMI-Modul) 28, das die erfassten Bilddaten verarbeitet. Das HMI-Modul 28 erzeugt auf der Grundlage der verarbeiteten Bilddaten die Steuersignale zum Steuern eines oder mehrerer der Fahrzeugsysteme 16a-16n.
In verschiedenen Ausführungsformen kommuniziert das HMI-Modul mit einem Anzeigesystem 30. Das Anzeigesystem 30 zeigt eine Anwenderschnittstelle an, die dem zu steuernden Fahrzeugsystem 16a-16n entspricht. In verschiedenen Ausführungsformen wird die Anwenderschnittstelle in der oder in der Nähe der Sichtlinie des Fahrers 13 angezeigt. Die Anwenderschnittstelle kann z. B. auf einer Windschutzscheibe (nicht gezeigt) des Fahrzeugs 12 durch ein Headup-Display-System (HUD-System) angezeigt werden. Das HMI-Modul 28 verarbeitet die Bilddaten in Bezug auf die angezeigte Anwenderschnittstelle.
Nun anhand von 2 veranschaulichen Datenflussdiagramme das HMI-Modul 28 gemäß verschiedenen Ausführungsformen. Es wird gewürdigt werden, dass verschiedene Ausführungsformen der HMI-Module 28 gemäß der vorliegenden Offenbarung irgendeine Anzahl von Teilmodulen enthalten können. Die in 2 gezeigten Teilmodule können kombiniert und/oder weiter unterteilt werden, um ähnlich die Blickrichtung eines Fahrers zu erkennen und auf der Grundlage davon Funktionen eines oder mehrerer Fahrzeugsysteme 16a-16n' (1) zu steuern. Eingaben in das HMI-Modul 28 können von einer oder von mehreren Sensoreingabeeinrichtungen des Fahrzeugs 12 (1) empfangen werden, von anderen Modulen (nicht gezeigt) innerhalb des Fahrzeugs 12 (1) empfangen werden, durch andere Module (nicht gezeigt) innerhalb des HMI-Moduls 28 bestimmt/modelliert werden und/oder über ein Netz (z. B. das Internet) von einer externen Quelle empfangen werden. In dem Beispiel aus 2 enthält das HMI-Modul 28 ein Bildverarbeitungsmodul 32, ein Blickrichtungsanalysemodul 34, ein Anzeigemodul 36 und ein Befehlsmodul 38.
Das Bildverarbeitungsmodul 32 empfängt als Eingabe Bilddaten 40. Das Bildverarbeitungsmodul 32 verarbeitet die Bilddaten 40, um ein Gesicht und Augen des Fahrers 13 zu unterscheiden (1), und erzeugt auf der Grundlage davon Augendaten 42 und Gesichtsdaten 44. Es wird gewürdigt werden, dass durch das Bildverarbeitungsmodul 32 verschiedene Analyseverfahren ausgeführt werden können, um die Augen und das Gesicht von den Bilddaten 40 zu unterscheiden. Diese Analyseverfahren können die Verwendung der Infrarotbeleuchtung auf das Auge zum Erzeugen einer Wirkung einer hellen Pupille, die einen hohen Kontrast zwischen den Pupillen und dem Rest des Gesichts erzeugt, um eine Robustheit und Genauigkeit der Augennachführung sicherzustellen, enthalten, sind darauf aber nicht beschränkt. Die Gesichtsdetektierung wird unter Verwendung des Viola-Jones-Objektdetektierungssystems ausgeführt.
Das Blickrichtungsanalysemodul 34 empfängt als Eingabe die Augendaten 42 und die Gesichtsdaten 44. Das Blickrichtungsanalysemodul 34 bestimmt auf der Grundlage der Augendaten 42 und/oder der Gesichtsdaten 44 einen Fokus des Fahrers 13 (1) und erzeugt auf der Grundlage davon Fokusdaten 46. Es sollte gewürdigt werden, dass durch das Blickrichtungsanalysemodul 34 verschiedene Analyseverfahren ausgeführt werden können, um den Fokus des Fahrers 13 zu bestimmen (1). Solche Analyseverfahren können die Verwendung der selbstkalibrierten Ruhezustandsdaten des Fahrers von dem Blickrichtungsanalysemodul und das Bestimmen der relativen Augenposition (Pupillenposition) und Gesichtsposition enthalten, sind darauf aber nicht beschränkt, wobei der Fahrerfokussierungsalgorithmus den Fokus des Fahrers bestimmen kann.
In verschiedenen Ausführungsformen kann das Blickrichtungsanalysemodul 34 die Gesichtsdaten 44 unter Verwendung eines Analyseverfahrens analysieren, um eine Position des Gesichts zu bestimmen. Daraufhin kann das Blickrichtungsanalysemodul 34 die Augendaten 42 unter Verwendung eines Analyseverfahrens und auf der Grundlage der Gesichtsposition analysieren, um einen Fokus des Auges (der Augen) zu bestimmen. In verschiedenen Ausführungsformen kann der Fokus des Auges (der Augen) z. B. durch einen allgemeinen Ort oder durch eine x-y-Koordinate innerhalb einer zweidimensionalen Ebene dargestellt werden.
Das Anzeigemodul 36 empfängt als Eingabe Systemdaten 48. Die Systemdaten 48 können durch das zu steuernde Fahrzeugsystem 16a-16n (1) erzeugt werden und können einen gegenwärtigen Zustand des Fahrzeugsystems 16a-16n (1) angeben. Das Anzeigemodul 36 managt auf der Grundlage der Systemdaten 48 die über die Anzeigedaten 50 anzuzeigende Anwenderschnittstelle. Das Anzeigemodul 36 kann z. B. Anzeigedaten 50 erzeugen, die von dem Anzeigesystem 30 zum Anzeigen eines bestimmten Bildschirms oder einer Benachrichtigung der dem zu steuernden Fahrzeugsystem 16a-16n (1) zugeordneten Anwenderschnittstelle verwendet werden können.
Daraufhin stellt das Anzeigemodul 36 diese Anzeigedaten oder andere Anzeige/Funktions-Daten 52 für das Befehlsmodul 38 zur Verfügung. Die Anzeige/Funktions-Daten 52 geben irgendwelche dem besonderen Bildschirm zugeordneten Funktionen oder eine Benachrichtigung, die angezeigt wird, und eine Abbildung der Funktionen auf die zweidimensionale Ebene, auf der die Anwenderschnittstelle angezeigt wird, an. Zum Beispiel werden durch den Bildschirm, der angezeigt wird, die Funktionen x, y und z bereitgestellt. Die Funktion x wird auf die Koordinaten ((a, b), (c, d), (e, f) usw.) der Anwenderschnittstelle abgebildet; die Funktion y wird auf die Koordinaten ((g, h), (i, j), (k, l) usw.) der Anwenderschnittstelle abgebildet; und die Funktion z wird auf die Koordinaten ((m, n), (o, p), (q, r) usw.) der Anwenderschnittstelle abgebildet.
In verschiedenen Ausführungsformen empfängt das Anzeigemodul 36 ferner als Eingabe eine Auswahl 54. Wie hinsichtlich des Befehlsmoduls 38 genauer diskutiert wird, kann die Auswahl 54 erzeugt werden, wenn die ausgewählte Funktion einem neuen Bildschirm oder einer Benachrichtigung der Anwenderschnittstelle zugeordnet ist. Das Anzeigemodul 36 kann auf der Grundlage der Auswahl 54 die Anzeigedaten 50 (z. B. zum Anzeigen eines neuen Bildschirms oder einer neuen Benachrichtigung) und die Anzeige/Funktions-Daten 52 ändern.
Das Befehlsmodul 38 empfängt als Eingabe die Anzeige/Funktions-Daten 52 und die Fokusdaten 46. Das Befehlsmodul 38 bestimmt auf der Grundlage der Eingaben 46, 52 die Auswahl 54 des Fahrers und erzeugt in einigen Fällen auf der Grundlage davon einen Anwenderbefehl 56. Zum Beispiel bildet das Befehlsmodul 38 die Koordinaten der Fokusdaten 46 auf Koordinaten der Anzeige/Funktions-Daten 52 ab und bestimmt die den Koordinaten zugeordnete Funktion. Daraufhin bestimmt das Befehlsmodul 38 den richtigen Befehl für diese Funktion und erzeugt auf der Grundlage davon einen Anwenderbefehl 56.
Der Anwenderbefehl 56 kann von dem Fahrzeugsystem 16a-16n' empfangen werden, um ein Systemmerkmal zu steuern. Der Anwenderbefehl kann zurück für das Anzeigemodul bereitgestellt werden, um die Änderung der Anwenderschnittstelle zu initiieren.
Nun wird weiterhin auf 2 und außerdem auf 3 Bezug genommen, worin ein Ablaufplan blickrichtungsgestützte Steuerverfahren veranschaulicht, die durch die blickrichtungsgestützten Steuersysteme gemäß der vorliegenden Offenbarung ausgeführt werden können. Wie im Licht der Offenbarung gewürdigt werden kann, ist die Reihenfolge des Betriebs innerhalb des Verfahrens nicht auf die wie in 3 dargestellte sequentielle Ausführung beschränkt, sondern kann in irgendeiner oder mehreren unterschiedlichen Reihenfolgen wie zutreffend und gemäß der vorliegenden Offenbarung ausgeführt werden. Wie weiter gewürdigt werden wird, können einer oder mehrere Schritte hinzugefügt oder entfernt werden, ohne den Erfindungsgedanken des Verfahrens zu ändern.
In verschiedenen Ausführungsformen kann das Verfahren so geplant werden, dass es auf der Grundlage vorgegebener Ereignisse ausgeführt wird, und/oder kann es während des Betriebs des Fahrzeugs 12 (1) (wie gezeigt) ausgeführt werden.
In einem Beispiel kann das Verfahren bei 100 beginnen. Bei 110 wird bestimmt, ob die blickrichtungsgestützte Steuerung aktiv ist (wobei z. B. durch den Fahrer ein Schalter zum Aktivieren des blickrichtungsgestützten Steuersystems ausgewählt wird). Falls die blickrichtungsgestützte Steuerung bei 110 aktiv ist, wird bei 130 auf der Grundlage der Steuersystemdaten und irgendeiner Auswahl die Anwenderschnittstelle bestimmt. Auf der Grundlage der Systemdaten und irgendwelcher Befehlsdaten zum Anzeigen der Anwenderschnittstelle, z. B. über die HUD, werden bei 140 die Anzeigedaten erzeugt. Bei 150 werden die Bilddaten von dem Bildprozessor analysiert, um die Augendaten und/oder die Gesichtsdaten zu bestimmen. Bei 160 werden die Augendaten und/oder die Gesichtsdaten analysiert, um den Fokus zu bestimmen. Bei 170 wird auf der Grundlage des Fokus die Auswahl bestimmt und werden die der gegenwärtigen Anwenderschnittstelle zugeordneten Funktionen (wie durch die Anzeige/Funktions-Daten angegeben) angezeigt. Optional kann die Auswahl bei 180 über eine Eingabeaufforderung von der Anwenderschnittstelle bestätigt werden. Falls die Auswahl bei 180 bestätigt wird, wird bei 190 auf der Grundlage der Auswahl und der der Auswahl zugeordneten Funktion der Anwenderbefehl erzeugt. Anschließend wird das Verfahren bei 110 mit der Überwachung, ob das blickrichtungsgestützte Steuersystem aktiv ist, fortgesetzt. Falls das blickrichtungsgestützte Steuersystem dagegen nicht aktiv ist oder das blickrichtungsgestützte Steuersystem nicht aktiv wird (z. B. daraufhin ausgeschaltet wird), kann das Verfahren bei 120 enden.

Claims

Steuersystem (10) für ein Fahrzeug (12), umfassend: ein erstes Modul (34), das auf der Grundlage von Bilddaten (40) einen Fokus (46) eines Insassen (13) eines Fahrzeugs (12) bestimmt, wobei die Bilddaten (40) unter Verwendung eines Bildprozessors (26) von dem Insassen (13) erfasst werden; ein zweites Modul (38), das auf der Grundlage des Fokus (46) des Insassen (13) einen Anwenderbefehl (56) zum Steuern eines Fahrzeugsystems (16a-16n) erzeugt; ein drittes Modul (32), das die Bilddaten (40) analysiert, um aus den Bilddaten (40) Augendaten (42) und/oder Gesichtsdaten (44) zu bestimmen; und ein viertes Modul (36), das Anzeigedaten (50) zum Anzeigen einer dem Fahrzeugsystem (16a-16n) zugeordneten Anwenderschnittstelle erzeugt, wobei das erste Modul (34) auf der Grundlage der Augendaten (42) und/oder der Gesichtsdaten (44) den Fokus (46) des Insassen (13) bestimmt, wobei das vierte Modul (36) dem dritten Modul (38) die Anzeigedaten (50) zur Verfügung stellt, wobei das zweite Modul (38) eine Auswahl (54) des Insassen (13) auf der Grundlage des Fokus (46) in Bezug auf die Anwenderschnittstelle bestimmt, indem das zweite Modul (38) Koordinaten des Fokus (46) auf Koordinaten der Anzeigedaten (50) abbildet und eine den Koordinaten zugeordnete Funktion bestimmt, wobei das zweite Modul (38) den Anwenderbefehl (56) auf der Grundlage der Auswahl (54) des Insassen erzeugt, und wobei das vierte Modul (36) die Auswahl (54) des Insassen von dem zweiten Modul (38) empfängt und die Anzeigedaten (50) auf der Grundlage der Auswahl (54) des Insassen derart ändert, dass die Anwenderschnittstelle einen neuen Bildschirm anzeigt.