-
Die vorliegende Erfindung ist auf ein Verfahren zum wenigstens teilweise automatischen Führen eines Fahrzeugs gerichtet, wobei Blickverfolgungsdaten erzeugt werden, indem eine Blickrichtung eines Benutzers des Fahrzeugs für ein vordefiniertes Zeitintervall verfolgt wird, und die Blickverfolgungsdaten mittels einer Recheneinheit bezüglich einer Spurwechselabsicht des Benutzers analysiert werden. Die Erfindung bezieht sich ferner auf ein elektronisches Fahrzeugführungssystem und ein Computerprogrammprodukt.
-
Fahrerassistenzsysteme, ADAS (englisch: „advanced driver assistance system“), existieren für verschiedene Fahrfunktionen, einschließlich Quersteuerung und Längssteuerung des Fahrzeugs. In vielen Fällen muss ein Benutzer des Fahrzeugs seine Absicht, von einer speziellen ADAS-Funktion Gebrauch zu machen, explizit darlegen oder angeben. In einer tatsächlichen Situation, in der das ADAS verwendet werden könnte oder sollte, kann jedoch der Benutzer mit anderen Fahraufgaben beschäftigt sein, kann aus anderen Gründen nicht an die Verwendung des ADAS denken oder kann sich nicht einmal bewusst sein, dass das jeweilige ADAS in der aktuellen Situation anwendbar ist oder überhaupt zur Verfügung steht.
-
Das Dokument
US 2019/0077308 A1 beschreibt ein Verfahren zum automatischen Aktivieren von Blinkern eines Kraftfahrzeugs, wobei eine Änderung des Blicks eines Fahrers in einen Seitenspiegel des Kraftfahrzeugs identifiziert wird und entsprechende Informationen in ein neuronales Netzwerk eingespeist werden, das nach entsprechendem Training den Blinker des Fahrzeugs abhängig von dem Verhalten des Fahrers automatisch aktivieren kann.
-
Es ist eine Aufgabe der vorliegenden Erfindung, eine wenigstens teilweise automatische Führung eines Fahrzeugs zu ermöglichen, die ein Komfortniveau für einen Benutzer des Fahrzeugs verbessert.
-
Diese Aufgabe wird durch den jeweiligen Gegenstand der unabhängigen Ansprüche erreicht. Weitere Implementierungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.
-
Die Erfindung basiert auf der Idee, den Blick des Benutzers auszuwerten und abhängig von einem Ergebnis der Auswertung dem Benutzer ein wenigstens teilweise automatisches Spurwechselmanöver vorzuschlagen oder ein solches Manöver einzuleiten.
-
Gemäß einem Aspekt der Erfindung wird ein Verfahren zum wenigstens teilweise automatischen Führen eines Fahrzeugs bereitgestellt. Blickverfolgungsdaten werden erzeugt, indem eine Blickrichtung eines Benutzers des Fahrzeugs für ein vordefiniertes Zeitintervall, insbesondere unter Verwendung eines Blickverfolgungssensorsystems des Fahrzeugs, verfolgt wird. Die Blickverfolgungsdaten werden mittels einer Recheneinheit, insbesondere des Fahrzeugs, bezüglich einer Spurwechselabsicht des Benutzers analysiert. Abhängig von einem Ergebnis der Analyse wird dem Benutzer ein wenigstens teilweise automatisches Spurwechselmanöver, insbesondere mittels der Recheneinheit und/oder einer Mensch-Maschine-Schnittstelle des Fahrzeugs, vorgeschlagen oder das wenigstens teilweise automatische Spurwechselmanöver wird mittels der Recheneinheit eingeleitet.
-
Ein elektronisches Fahrzeugführungssystem kann als elektronisches System verstanden werden, das dazu eingerichtet ist, ein Fahrzeug in einer vollständig automatisierten oder einer vollständig autonomen Weise zu führen, und insbesondere, ohne dass ein manueller Eingriff oder eine manuelle Steuerung durch einen Fahrer oder Benutzer des Fahrzeugs erforderlich ist. Das Fahrzeug führt alle erforderlichen Funktionen wie zum Beispiel Lenkmanöver, Verlangsamungsmanöver und/oder Beschleunigungsmanöver sowie Überwachung und Aufzeichnung des Straßenverkehrs und entsprechende Reaktionen automatisch aus. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollständig automatischen oder vollständig autonomen Fahrmodus gemäß der Ebene 5 der Klassifikation SAE J3016 implementieren. Ein elektronisches Fahrzeugführungssystem kann auch als Fahrerassistenzsystem, ADAS, implementiert sein, das einen Fahrer beim teilweise automatischen oder teilweise autonomen Fahren unterstützt. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilweise automatischen oder teilweise autonomen Fahrmodus gemäß den Ebenen 1 bis 4 der Klassifikation SAE J3016 implementieren. Hier und im Folgenden bezieht sich SAE J3016 auf den jeweiligen Standard mit Datum vom Juni 2018.
-
Das wenigstens teilweise automatische Führen des Fahrzeugs kann daher das Führen des Fahrzeugs gemäß einem vollständig automatischen oder vollständig autonomen Fahrmodus gemäß der Ebene 5 der Klassifikation SAE J3016 beinhalten. Das wenigstens teilweise automatische Führen des Fahrzeugs kann auch das Führen des Fahrzeugs gemäß einem teilweise automatischen oder teilweise autonomen Fahrmodus gemäß den Ebenen 1 bis 4 der Klassifikation SAE J3016 beinhalten.
-
Das Blickverfolgungssensorsystem kann beispielsweise einen Infrarotsensor oder eine Infrarotkamera beinhalten, wobei eine potentielle Position des Kopfs und/oder der Augen des Fahrers in einem Sichtfeld des Sensors oder der Kamera liegt. Infrarotstrahlung, die mittels eines Infrarotemitters des Blickverfolgungssensorsystems emittiert wird, wird durch die Augen des Fahrers abhängig von der Blickrichtung teilweise reflektiert. In dieser Weise kann das Blickverfolgungssensorsystem die Blickrichtung bestimmen und folglich die Blickverfolgungsdaten erzeugen. Alternative Methoden für die Blickverfolgung können jedoch auch anwendbar sein.
-
Die Blickrichtung kann beispielsweise als gerade Linie verstanden werden, die durch einen Blickrichtungsvektor definiert ist. Um die Blickrichtung zu verfolgen, kann sie wiederholt während des Zeitintervalls mit einer vordefinierten Frequenz, beispielsweise in der Größenordnung von mehreren zehn Millisekunden, beispielsweise ungefähr 50 ms, bestimmt werden. Die Blickrichtungen oder jeweilige Daten, beispielsweise ein virtueller Schnittpunkt der Blickrichtung mit einer vordefinierten Ebene, können während des Zeitintervalls zum Analysieren der Blickverfolgungsdaten gespeichert oder gepuffert werden. Insbesondere beginnt die Analyse der Blickverfolgungsdaten nicht notwendigerweise nach der Beendigung des Zeitintervalls. Insbesondere kann die Analyse der Blickverfolgungsdaten wenigstens teilweise während des Zeitintervalls ausgeführt werden. Das Zeitintervall kann auch als gleitendes Zeitintervall betrachtet werden und die Blickverfolgungsdaten können in einer kontinuierlichen Weise analysiert werden.
-
Das wenigstens teilweise automatische Spurwechselmanöver wird abhängig von einem Ergebnis der Analyse vorgeschlagen oder eingeleitet. Insbesondere wird das Spurwechselmanöver nur dann vorgeschlagen oder eingeleitet, wenn die Spurwechselabsicht mittels der Analyse, insbesondere mit einer Wahrscheinlichkeit, die höher ist als eine vordefinierte minimale Wahrscheinlichkeit, identifiziert oder bestimmt wird. Mit anderen Worten, das Bestimmen der Spurwechselabsicht des Benutzers ist eine notwendige Bedingung zum Vorschlagen oder Einleiten des Spurwechselmanövers. Das Bestimmen der Spurwechselabsicht des Benutzers ist jedoch nicht zwingend auch eine hinreichende Bedingung. Mit anderen Worten, weitere Bedingungen können gelten, die beispielsweise eine sicherheitsbezogene Bedingung beinhalten können.
-
Das Einleiten des wenigstens teilweise automatischen Spurwechselmanövers kann das Einleiten des Manövers ohne Warten auf eine weitere Bestätigung oder Handlung des Benutzers beinhalten. Andererseits kann das Vorschlagen des wenigstens teilweise automatischen Spurwechselmanövers als Aufforderung oder Einladung an den Benutzer, das Manöver einzuleiten oder die Einleitung des Manövers zu bestätigen, verstanden werden.
-
Mittels des Verfahrens gemäß der Erfindung muss sich der Benutzer nicht notwendigerweise bewusst sein, dass das wenigstens teilweise automatische Spurwechselmanöver und die zugehörige Funktion des Fahrzeugs im Allgemeinen oder in der speziellen aktuellen Situation verfügbar sind. Trotzdem kann das wenigstens teilweise automatische Spurwechselmanöver abhängig von der verfolgten Blickrichtung des Benutzers eingeleitet oder vorgeschlagen werden. In dieser Weise kann die Menge an erforderlichen Benutzerinteraktionen verringert werden, was ein Komfortniveau für den Benutzer, insbesondere in Implementierungen, in denen das Spurwechselmanöver abhängig von dem Ergebnis der Analyse automatisch eingeleitet wird, erhöht. In Implementierungen, in denen das Spurwechselmanöver dem Benutzer abhängig von dem Ergebnis der Analyse der Blickverfolgungsdaten vorgeschlagen wird, wird die Wahrscheinlichkeit, dass der Benutzer das wenigstens teilweise automatische Spurwechselmanöver in einer geeigneten Situation einleitet, erhöht. In dieser Weise kann die Menge an Fahraufgaben, die manuell durch den Benutzer ausgeführt werden, auch verringert werden, was auch in diesem Fall das Komfortniveau für den Benutzer verbessert.
-
Gemäß mehreren Implementierungen des Verfahrens wird dem Benutzer das wenigstens teilweise automatische Spurwechselmanöver abhängig von dem Ergebnis der Analyse vorgeschlagen und eine Spurwechselabsichtshandlung des Benutzers wird in Reaktion auf den Vorschlag erkannt. Das wenigstens teilweise automatische Spurwechselmanöver wird mittels der Recheneinheit in Reaktion auf die erkannte Spurwechseleingabehandlung eingeleitet.
-
Mit anderen Worten, der Benutzer kann in Reaktion auf den Vorschlag direkt veranlassen, dass die Recheneinheit das Spurwechselmanöver einleitet. Die Spurwechseleingabehandlung des Benutzers kann beispielsweise eine Aktivierung einer Softtaste oder Festtaste, eines Knopfs oder Schalters oder beispielsweise einer Eingabevorrichtung zum Aktivieren eines Blinkers wie zum Beispiel eines Hebels zum Aktivieren des Blinkers, beinhalten. Die Spurwechseleingabehandlung des Benutzers kann auch eine vordefinierte Lenkhandlung mit einer vordefinierten minimalen Intensität und/oder eine Beschleunigungseingabe mit wenigstens einer minimalen Intensität beinhalten.
-
Nach der Erkennung der Spurwechseleingabehandlung können beispielsweise die Quer- und optional die Längssteuerung des Fahrzeugs vollständig automatisch mittels eines elektronischen Fahrzeugführungssystems des Fahrzeugs, wenigstens für eine vordefinierte Zeitdauer und/oder bis das Manöver durch den Benutzer oder das elektronische Fahrzeugführungssystem oder aus einem anderen Grund unterbrochen wird, ausgeführt werden.
-
Gemäß mehreren Implementierungen wird dem Benutzer das wenigstens teilweise automatische Spurwechselmanöver abhängig von dem Ergebnis der Analyse vorgeschlagen und eine Bestätigung des Benutzers wird in Reaktion auf den Vorschlag erkannt. Eine Fahrerassistenzfunktion für den Spurwechsel wird in Reaktion auf die Bestätigung aktiviert.
-
Die Bestätigung kann beispielsweise mittels eines Sensorsystems einer anderen Eingabevorrichtung des Fahrzeugs oder mittels einer Mensch-Maschine-Schnittstelle des Fahrzeugs erkannt werden. Der Benutzer kann beispielsweise den Vorschlag bestätigen, indem er einen speziellen oder vordefinierten Ausdruck sagt oder eine Geste, wie zum Beispiel Nicken mit dem Kopf oder dergleichen, durchführt.
-
Gemäß mehreren Implementierungen wird eine Spurwechseleingabehandlung des Benutzers erkannt, während die Fahrerassistenzfunktion aktiviert ist. Das wenigstens teilweise automatische Spurwechselmanöver wird in Reaktion auf die erkannte Spurwechseleingabehandlung mittels der Recheneinheit eingeleitet.
-
Gemäß mehreren Implementierungen wird eine manuelle Betätigung eines Blinkers durch den Benutzer als Spurwechseleingabehandlung erkannt.
-
Mit anderen Worten, in Implementierungen, in denen die Bestätigung des Benutzers nicht erkannt wird, kann der Benutzer in Reaktion auf den Vorschlag des wenigstens teilweise automatischen Spurwechselmanövers den Blinker betätigen. In anderen Implementierungen sind zwei Handlungen des Benutzers beteiligt. Erstens wird der Vorschlag bestätigt und die Bestätigung wird in Reaktion auf den Vorschlag erkannt. Nachdem die Fahrerassistenzfunktion aktiviert wurde, kann zweitens der Benutzer den Blinker betätigen, um das teilweise automatische Spurwechselmanöver tatsächlich einzuleiten.
-
Gemäß mehreren Implementierungen beinhaltet die Analyse der Blickverfolgungsdaten das Bestimmen eines Schnittpunkts der Blickrichtung mit einer virtuellen Ebene, das Bestimmen einer Karte, die eine Abbildung der Position des Schnittpunkts auf der virtuellen Ebene während des Zeitintervalls darstellt, und das Analysieren der Kate bezüglich der Spurwechselabsicht des Benutzers.
-
Insbesondere kann die Karte analysiert werden, um spezielle charakteristische Muster zu erkennen, die die Spurwechselabsicht des Benutzers angeben. Dabei kann die Analyse der charakteristischen Muster teilweise benutzerabhängig sein und kann im Voraus gelernt werden.
-
Die Karte kann als Darstellung, insbesondere Bilddarstellung, der Schnittpunkte in zwei Dimensionen, insbesondere auf der virtuellen Ebene, verstanden werden. Die Karte kann beispielsweise die Form einer Matrix mit Einträgen aufweisen, wobei Werte der Einträge von der Dauer oder Wahrscheinlichkeit der Blickrichtung mit dem entsprechenden Schnittpunkt mit der virtuellen Ebene während des Zeitintervalls abhängen. Mit anderen Worten, die Karte stellt eine lokale Verteilung der Blickintensität dar.
-
Die Karte kann beispielsweise als zweidimensionale Heatmap oder farblich schattierte Karte oder grau schattierte Karte visuell dargestellt werden. Mit anderen Worten, die Karte kann als zweidimensionales Bild dargestellt werden. Die visuelle Ebene kann als geometrische Konstruktion einer ebenen Oberfläche mit vordefinierter Größe verstanden werden. Die virtuelle Ebene kann auch als virtuelle Wand oder imaginäre Oberfläche bezeichnet werden. Insbesondere ist die virtuelle Ebene virtuell in einem vordefinierten Abstand vom Blickverfolgungssensorsystem oder einem potentiellen Referenzpunkt für den Kopf oder die Augen des Benutzers angeordnet.
-
Gemäß mehreren Implementierungen sind eine Position und Orientierung der virtuellen Ebene auf ein Fahrzeugkoordinatensystem des Fahrzeugs oder ein Sensorkoordinatensystem des Blickverfolgungssensorsystems fixiert. Insbesondere ändern sich die Orientierung und Position der virtuellen Ebene bezüglich des Blickverfolgungssensorsystems oder des Fahrzeugs nicht, wenn sich die Blickrichtung des Benutzers ändert.
-
Die virtuelle Ebene kann beispielsweise parallel zu einer parallelen Achse des Fahrzeugkoordinatensystems oder des Sensorkoordinatensystems positioniert sein und kann mit einem festen Winkel oder vordefinierten Winkel bezüglich einer Hochachse des Fahrzeugkoordinatensystems oder des Sensorkoordinatensystems positioniert sein. Der Winkel kann beispielsweise ungefähr null Grad sein, so dass die virtuelle Ebene senkrecht zu einer Längsachse des Fahrzeugkoordinatensystems oder des Sensorkoordinatensystems orientiert ist. Die virtuelle Ebene kann beispielsweise in einem vordefinierten Abstand von einem Ursprung des Fahrzeugkoordinatensystems oder des Sensorkoordinatensystems in einer Längsrichtung positioniert sein.
-
Mittels solcher Implementierungen wird die Blickdynamik direkt analysiert, um die Spurwechselabsicht des Benutzers zu identifizieren. Insbesondere wird erwartet, dass typische oder charakteristische Punkte im Umfeld, wie zum Beispiel Rückspiegel oder Seitenspiegel, in der Karte hervorgehoben werden und daher das Identifizieren der Spurwechselabsicht ermöglichen. Da eine Darstellung der Blickdynamik auf Bildbasis in Form der Karte verwendet wird, kann die Spurwechselabsicht des Benutzers in einer besonders zuverlässigen Weise, beispielsweise im Vergleich zu einer bloßen Analyse der Blickrichtung, bestimmt werden. Durch die Darstellung auf Bildbasis kann ferner ein Algorithmus zum Analysieren der Karte, um die Spurwechselabsicht des Benutzers zu bestimmen, weniger Daten für das Trainieren erfordern und/oder kann genauere Ergebnisse erzeugen.
-
Durch Analysieren des Schnittpunkts der Blickrichtung mit der virtuellen Ebene kann die Bewegung der Augen der Benutzer als durch den Abstand zwischen den Augen und der virtuellen Ebene verstärkt betrachtet werden. Daher können genauere Ergebnisse, beispielsweise im Vergleich zu einer bloßen Verfolgung der Pupillen des Benutzers, erzielt werden.
-
Gemäß mehreren Implementierungen beinhaltet die Analyse der Karte das Anwenden eines Klassifizierungsalgorithmus auf die Karte und das Identifizieren der Spurwechselabsicht des Benutzers abhängig von einem Ergebnis des Klassifizierungsalgorithmus.
-
Mit anderen Worten, es wird abhängig von dem Ergebnis des Klassifizierungsalgorithmus oder als Ergebnis des Klassifizierungsalgorithmus bestimmt, ob die Spurwechselabsicht des Benutzers vorhanden ist oder nicht.
-
Der Klassifizierungsalgorithmus kann als trainierter, insbesondere maschinentrainierter, Klassifizierungsalgorithmus, beispielsweise Stützvektormaschine oder künstliches neuronales Netzwerk, beispielsweise faltendes neuronales Netzwerk, CNN, implementiert sein.
-
Der Klassifizierungsalgorithmus kann beispielsweise eine binäre Klassifizierung verwenden, um die Karte in eine von zwei Klassen zu klassifizieren, wobei eine Klasse der positiven Identifikation der Spurwechselabsicht entspricht und eine Klasse der negativen Identifikation der Spurwechselabsicht oder, mit anderen Worten, Fällen, in denen keine Spurwechselabsicht festgestellt wird, entspricht.
-
Gemäß mehreren Implementierungen wird die Recheneinheit verwendet, um einen vordefinierten Satz von einem oder mehreren charakteristischen Merkmalen aus der Karte zu extrahieren und den Klassifizierungsalgorithmus auf den Satz von charakteristischen Merkmalen anzuwenden.
-
Die charakteristischen Merkmale können beispielsweise statistische Eigenschaften der Karte oder der Abbildung, wie zum Beispiel eine Standardabweichung oder einen Maximalwert der Abbildung in einer gegebenen Richtung auf der virtuellen Ebene und so weiter, beinhalten.
-
Der Klassifizierungsalgorithmus kann auch die Transformation des vordefinierten Satzes von charakteristischen Merkmalen in eine geeignete Form, damit er durch den Klassifizierungsalgorithmus klassifiziert wird, beinhalten.
-
Gemäß mehreren Implementierungen beinhaltet die Analyse der Karte das Bestimmen von einem oder mehreren Bereichen auf der virtuellen Ebene, wobei alle Einträge der Karte, die dem einen oder den mehreren Bereichen entsprechen, jeweilige Werte aufweisen, die gleich oder größer als ein vordefinierter Schwellenwert sind, und das Identifizieren der Spurwechselabsicht des Benutzers auf der Basis des einen oder der mehreren Bereiche.
-
Die charakteristischen Merkmale können beispielsweise ein oder mehrere geometrische Merkmale des einen oder der mehreren Bereiche und/oder ein oder mehrere Merkmale hinsichtlich der Form des einen oder der mehreren Bereiche beinhalten. Eine Fläche oder eine Größe in einer vordefinierten Richtung auf der virtuellen Ebene kann beispielsweise als ein solches Merkmal verwendet werden.
-
Gemäß mehreren Implementierungen wird die Recheneinheit verwendet, um ein Bildmoment und/oder ein Hu-Moment auf der Basis der Karte zu bestimmen. Die Recheneinheit wird verwendet, um eine Spurwechselabsicht auf der Basis des Bildmoments und/oder auf der Basis des Hu-Moments zu identifizieren. Das Bildmoment und/oder das Hu-Moment können als Merkmale des vordefinierten Satzes von charakteristischen Merkmalen betrachtet werden.
-
Gemäß mehreren Implementierungen beinhaltet die Analyse der Blickverfolgungsdaten das Erzeugen von Eingangsdaten abhängig von den Blickverfolgungsdaten und das Anwenden eines trainierten rekurrenten neuronalen Netzwerks, RNN, auf die Eingangsdaten und das Identifizieren der Spurwechselabsicht des Benutzers abhängig von einer Ausgabe des RNN, insbesondere in Reaktion auf die Anwendung des RNN auf die Eingangsdaten.
-
Rekurrente neuronale Netzwerke, RNNs, insbesondere lange Kurzzeitspeichernetzwerke, LSTMs, haben den Vorteil, dass sie das zeitliche dynamische Verhalten der Eingangsdaten berücksichtigen können. Daher sind RNNs und insbesondere LSTMs für das Identifizieren der Spurwechselabsicht aus den Blickverfolgungsdaten besonders geeignet, da sich die Spurwechselabsicht typischerweise in Form eines charakteristischen dynamischen Verhaltens des Blicks ausdrückt.
-
Insbesondere kann die Analyse der Eingangsdaten durch das RNN in mehreren Implementierungen mit Informationen hinsichtlich einer Häufigkeit dessen, wie häufig der Benutzer einen Spiegel, beispielsweise einen Seitenspiegel oder einen Rückspiegel des Fahrzeugs, prüft, kombiniert werden, um die Anwesenheit oder Abwesenheit der Spurwechselabsicht zu bestimmen. Insbesondere können die Implementierungen, in denen die Karte der Abbildung des Schnittpunkts auf der virtuellen Ebene analysiert wird, mit Implementierungen, in denen das RNN verwendet wird, kombiniert werden. Dies kann eine besonders zuverlässige Identifikation der Spurwechselabsicht ermöglichen.
-
Gemäß mehreren Implementierungen werden Umfeldsensordaten, die ein Umfeld des Fahrzeugs darstellen, insbesondere durch ein Umfeldsensorsystem des Fahrzeugs, erzeugt. Ein Sicherheitsniveau für den Spurwechsel wird mittels einer Recheneinheit abhängig von den Umfeldsensordaten bestimmt und das wenigstens teilweise automatische Spurwechselmanöver wird dem Benutzer abhängig von dem Sicherheitsniveau vorgeschlagen oder das wenigstens teilweise automatische Spurwechselmanöver wird abhängig von dem Sicherheitsniveau eingeleitet.
-
Insbesondere kann das Sicherheitsniveau mit einem vordefinierten minimalen Sicherheitsniveau verglichen werden und das wenigstens teilweise automatische Spurwechselmanöver kann nur dann vorgeschlagen oder eingeleitet werden, wenn festgestellt wird, dass das Sicherheitsniveau gleich oder größer als das vordefinierte minimale Sicherheitsniveau ist.
-
Zum Bestimmen des Sicherheitsniveaus kann die Recheneinheit beispielsweise einen Bildverarbeitungsalgorithmus und/oder einen Computer-Vision Algorithmus, wie zum Beispiel Objekterkennung, Objektverfolgung oder semantische Segmentierung, anwenden, um zu bestimmen, ob es sicher und möglich ist, dass das Fahrzeug die Spur dementsprechend wechselt. Auf der Basis des Ergebnisses der Auswertung wird das Sicherheitsniveau bestimmt. In dieser Weise wird die Sicherheit der wenigstens teilweise automatischen Führung des Fahrzeugs erhöht.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem für ein Fahrzeug bereitgestellt. Das elektronische Fahrzeugführungssystem beinhaltet ein Blickverfolgungssensorsystem, das dazu eingerichtet ist, eine Blickrichtung eines Benutzers des Fahrzeugs für ein vordefiniertes Zeitintervall zu verfolgen. Das elektronische Fahrzeugführungssystem beinhaltet eine Recheneinheit, die dazu eingerichtet ist, die Blickverfolgungsdaten bezüglich einer Spurwechselabsicht des Benutzers zu analysieren. Die Recheneinheit ist dazu eingerichtet, abhängig von einem Ergebnis der Analyse dem Benutzer ein wenigstens teilweise automatisches Spurwechselmanöver vorzuschlagen oder das wenigstens teilweise automatische Spurwechselmanöver automatisch einzuleiten.
-
Das elektronische Fahrzeugführungssystem kann beispielsweise eine Mensch-Maschine-Schnittstelle, wie zum Beispiel eine Anzeigevorrichtung, einen Lautsprecher, eine visuelle Signalisierungsvorrichtung und/oder eine haptische Ausgabevorrichtung, beinhalten. Die Recheneinheit kann dann beispielsweise ein Steuersignal zum Steuern der Mensch-Maschine-Schnittstelle abhängig von dem Ergebnis der Analyse erzeugen, um dem Benutzer das Spurwechselmanöver vorzuschlagen. Die Mensch-Maschine-Schnittstelle kann dann abhängig von dem Steuersignal entsprechende Informationen oder ein Aufforderungssignal an den Benutzer ausgeben.
-
In anderen Implementierungen ist die Recheneinheit dazu eingerichtet, Steuersignale zum Steuern von einem oder mehreren Aktuatoren des Fahrzeugs oder des elektronischen Fahrzeugführungssystems zum Einleiten des wenigstens teilweise automatischen Spurwechselmanövers zu erzeugen.
-
Gemäß mehreren Implementierungen des elektronischen Fahrzeugführungssystems beinhaltet es ein Umfeldsensorsystem für das Fahrzeug, das dazu eingerichtet ist, Umfeldsensordaten zu erzeugen, die ein Umfeld des Fahrzeugs darstellen. Die Recheneinheit ist dazu eingerichtet, ein Sicherheitsniveau für den Spurwechsel abhängig von den Umfeldsensordaten zu bestimmen. Die Recheneinheit ist dazu eingerichtet, dem Benutzer das wenigstens teilweise automatische Spurwechselmanöver abhängig von dem Sicherheitsniveau vorzuschlagen oder das wenigstens teilweise automatische Spurwechselmanöver abhängig von dem Sicherheitsniveau einzuleiten.
-
Weitere Implementierungen des elektronischen Fahrzeugführungssystems folgen direkt aus den verschiedenen Implementierungen des Verfahrens gemäß der Erfindung und umgekehrt. Insbesondere ist ein elektronisches Fahrzeugführungssystem gemäß der Erfindung dazu eingerichtet, ein Verfahren gemäß der Erfindung auszuführen, oder führt ein solches Verfahren aus.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein Kraftfahrzeug mit einem elektronischen Fahrzeugführungssystem gemäß der Erfindung bereitgestellt.
-
Gemäß einem anderen Aspekt der Erfindung wird ein Computerprogramm mit Befehlen bereitgestellt. Wenn die Befehle beziehungsweise das Computerprogramm durch ein elektronisches Fahrzeugführungssystem gemäß der Erfindung, insbesondere mittels der Recheneinheit des elektronischen Fahrzeugführungssystems, ausgeführt werden, veranlassen die Befehle das elektronische Fahrzeugführungssystem dazu, ein Verfahren gemäß der Erfindung durchzuführen.
-
Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium, das ein Computerprogramm gemäß der Erfindung speichert, bereitgestellt.
-
Das Computerprogramm sowie das computerlesbare Speichermedium können als jeweilige Computerprogrammprodukte mit den Befehlen bezeichnet werden.
-
Weitere Merkmale der Erfindung sind aus den Ansprüchen, den Figuren und der Figurenbeschreibung ersichtlich. Die vorstehend in der Beschreibung erwähnten Merkmale und Merkmalskombinationen sowie die nachstehend in der Figurenbeschreibung erwähnten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können von der Erfindung nicht nur in der jeweiligen angegebenen Kombination, sondern auch in anderen Kombinationen enthalten sein. Insbesondere sind Ausführungsformen und Merkmalskombinationen, die nicht alle Merkmale eines ursprünglich formulierten Anspruchs aufweisen, auch von der Erfindung enthalten. Überdies sind Ausführungsformen und Merkmalskombinationen, die über die in den Rezitationen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen, von der Erfindung enthalten.
-
In den Figuren gilt:
- 1 zeigt schematisch ein Fahrzeug mit einer beispielhaften Implementierung eines elektronischen Fahrzeugführungssystems gemäß der Erfindung;
- 2 zeigt ein Ablaufdiagramm einer beispielhaften Implementierung eines Verfahrens gemäß der Erfindung;
- 3 zeigt schematisch eine virtuelle Ebene für die Verwendung in beispielhaften Implementierungen eines Verfahrens gemäß der Erfindung; und
- 4 zeigt schematisch ein Beispiel einer Karte für die Verwendung in beispielhaften Implementierungen eines Verfahrens gemäß der Erfindung.
-
1 zeigt schematisch ein Fahrzeug 1, das eine beispielhafte Implementierung eines elektronischen Fahrzeugführungssystems 2 gemäß der Erfindung beinhaltet.
-
Das elektronische Fahrzeugführungssystem 2 beinhaltet ein Blickverfolgungssensorsystem 3, das dazu eingerichtet ist, eine Blickrichtung 6 eines Benutzers 5 (siehe 3) des Fahrzeugs 1 zu bestimmen. Ferner beinhaltet das elektronische Fahrzeugführungssystem 2 eine Recheneinheit 4. Das elektronische Fahrzeugführungssystem 2 ist dazu eingerichtet, ein Verfahren zum wenigstens teilweise automatischen Führen des Fahrzeugs 1 gemäß der Erfindung auszuführen. Optional kann das elektronische Fahrzeugführungssystem 2 ein Umfeldsensorsystem 10, wie zum Beispiel ein Kamerasystem, ein Lidarsystem, ein Radarsystem und/oder ein Ultraschallsensorsystem, beinhalten.
-
Das Blickverfolgungssensorsystem 3, das beispielsweise eine Infrarotkamera beinhalten kann, verfolgt die Blickrichtung 6 des Benutzers 5 für ein vordefiniertes Zeitintervall und erzeugt entsprechende Blickverfolgungsdaten. Die Blickverfolgungsdaten werden dann mittels der Recheneinheit 4 analysiert. Wenn die Recheneinheit 4 eine Spurwechselabsicht des Benutzers 5 auf der Basis der Analyse der Blickverfolgungsdaten positiv identifiziert, kann die Recheneinheit 4 dem Benutzer 5 ein wenigstens teilweise automatisches Spurwechselmanöver vorschlagen. In alternativen Implementierungen kann die Recheneinheit 4 das wenigstens teilweise automatische Spurwechselmanöver einleiten, falls sie die Spurwechselabsicht des Benutzers 5 identifiziert hat. Dabei können weitere Bedingungen für das Einleiten oder Vorschlagen des Spurwechselmanövers, wie zum Beispiel sicherheitsbezogene Bedingungen, gelten.
-
Die Funktion des elektronischen Fahrzeugführungssystems 2 gemäß der Erfindung wird im Folgenden mit Bezug auf beispielhafte Implementierungen des Verfahrens zum wenigstens teilweise automatischen Führen eines Fahrzeugs gemäß der Erfindung und insbesondere mit Bezug auf 2 bis 4 genauer erläutert.
-
2 zeigt ein Ablaufdiagramm einer beispielhaften Implementierung eines Verfahrens gemäß der Erfindung.
-
Schritt S1 stellt den Start des Verfahrens dar. In einem optionalen Schritt S2 kann ein Benutzerprofil des Benutzers 5 mittels der Recheneinheit 4 geladen werden. Das Benutzerprofil kann beispielsweise Informationen hinsichtlich der Identität des Benutzers 5 und beispielsweise Informationen hinsichtlich des vorherigen Verhaltens des Benutzers 5, insbesondere während das Verfahren vorher ausgeführt wurde, speichern. Das Benutzerprofil kann beispielsweise Informationen enthalten, die ermöglichen, dass die Recheneinheit 4 die Spurwechselabsicht aus der Blickrichtung 6 des Benutzers 5 und der dynamischen Änderung der Blickrichtung 6 identifiziert.
-
In Schritt S3 wird die Blickrichtung 6 und ihre Änderung für ein vordefiniertes Zeitintervall, beispielsweise für 1 bis 10 Sekunden, insbesondere für etwa 5 Sekunden, verfolgt. Die Recheneinheit 4 wendet einen Klassifizierungsalgorithmus, einschließlich beispielsweise mit einem LSTM, auf die während des Zeitintervalls gesammelten Blickverfolgungsdaten an. Die Klassifizierung kann kontinuierlich oder wiederholt, beispielsweise jede Sekunde, ausgeführt werden.
-
In Schritt S4 bestimmt die Recheneinheit 4 abhängig von dem Ergebnis des Klassifizierungsalgorithmus, ob die Blickverfolgungsdaten ein Muster vor dem Spurwechsel darstellen oder nicht. Mit anderen Worten, die Recheneinheit 4 bestimmt, ob die Spurwechselabsicht des Benutzers 5 durch die Blickverfolgungsdaten dargestellt wird oder nicht. Wenn die Spurwechselabsicht nicht identifiziert wird, fährt das Verfahren mit Schritt S3 fort.
-
Wenn andererseits die Spurwechselabsicht identifiziert wird, wird ein Sicherheitsniveau für den Spurwechsel optional in Schritt S5 bestimmt. Dazu kann das Umfeldsensorsystem 10 Umfeldsensordaten erzeugen, die das Umfeld des Fahrzeugs 1 darstellen, und die Recheneinheit 4 kann die Umfeldsensordaten auswerten, um zu bestimmen, ob ein Spurwechsel in sicherer Weise möglich ist, beispielsweise abhängig von anderen Straßenbenutzern im Umfeld, Fahrbahnmarkierungen, Verkehrszeichen und so weiter. Wenn in Schritt S5 bestimmt wird, dass das Sicherheitsniveau unterhalb eines vordefinierten minimalen Sicherheitsniveaus liegt, kann die Recheneinheit in Schritt S6b eine Warnung für den Benutzer 5 einleiten. Die Recheneinheit 4 kann beispielsweise eine Mensch-Maschine-Schnittstelle steuern, um ein visuelles, haptisches und/oder akustisches Signal auszugeben, um den Benutzer 5 zu warnen, dass es gegenwärtig nicht sicher genug ist, einen Spurwechsel einzuleiten. Falls das Sicherheitsniveau andererseits als gleich oder größer als das minimale Sicherheitsniveau bestimmt wird, kann dem Benutzer 5 das Spurwechselmanöver in Schritt S6a, beispielsweise über die Mensch-Maschine-Schnittstelle, vorgeschlagen werden.
-
In Schritt S7 wird bestimmt, ob der Benutzer 5 den Vorschlag bestätigt, beispielsweise indem eine jeweilige Bestätigungshandlung, wie zum Beispiel Betätigen einer Taste oder Sprechen eines speziellen Satzes, erkannt wird. Wenn dies der Fall ist, steuert die Recheneinheit 4 Aktuatoren (nicht gezeigt) des Fahrzeugs 1 in Schritt S8a, um das Spurwechselmanöver auszuführen. Wenn andererseits der Benutzer den Vorschlag nicht bestätigt oder den Vorschlag ablehnt, kann das Benutzerprofil beispielsweise in Schritt S8b optional aktualisiert werden, um die Vorhersage für weitere Iterationen zu verbessern. Das Verfahren endet mit Schritt S9.
-
Der Klassifikator, der zum Bestimmen, ob die Blickverfolgungsdaten die Spurwechselabsicht angeben oder nicht, verwendet wird, kann beispielsweise auf einem LSTM basieren. Alternativ oder zusätzlich kann der Klassifizierungsalgorithmus eine Karte 9 (siehe 4) erzeugen, die eine Abbildung der Blickrichtung 6 des Benutzers 5 während des verfolgten Zeitintervalls darstellt.
-
Wie schematisch in 3 dargestellt, verfolgt die Recheneinheit 4 einen Schnittpunkt 7 der Blickrichtung 6 des Benutzers 5 mit einer virtuellen Ebene 8, die sich vor dem Benutzer 5 befindet, während des Zeitintervalls. Die Koordinaten des Schnittpunkts 7 auf der virtuellen Ebene 8 können beispielsweise auf einem Speicherelement der Recheneinheit 4 gespeichert werden. Die Recheneinheit 4 kann dann die Karte 9 auf der Basis des verfolgten Schnittpunkts 7 erzeugen. Dazu kann die Recheneinheit 4 eine Abbildung der Blickrichtung 6 beziehungsweise des Schnittpunkts 7 während des Zeitintervalls bestimmen. Das Ergebnis ist die Karte 9, die als Heatmap betrachtet werden kann, wie schematisch in 4 dargestellt. Insbesondere kann die Karte 9 verschiedene Farben oder verschiedene Grauwerte für verschiedene Werte der Dichten der Schnittpunkte 7 auf der virtuellen Ebene 8 während des Zeitintervalls aufweisen.
-
Die Recheneinheit 4 kann einen vordefinierten Satz von charakteristischen Merkmalen aus der Karte 9 extrahieren und einen weiteren Klassifizierungsalgorithmus auf den Satz von charakteristischen Merkmalen anwenden oder kann den weiteren Klassifizierungsalgorithmus direkt auf die Karte 9 anwenden, um die Spurwechselabsicht zu bestimmen oder zu identifizieren.
-
Dies kann beispielsweise durch Vergleichen von statistischen oder geometrischen Charakteristiken der Karte, wie zum Beispiel einer Fläche und Standardabweichung von geometrischen Merkmalen in der Karte 9, erreicht werden. In dieser Weise kann der weitere Klassifizierungsalgorithmus bestimmen, ob eine Spurwechselabsicht besteht oder nicht.
-
Wie beschrieben, insbesondere mit Bezug auf die Figuren, kann die Erfindung das Gesamtniveau der Automatisierung in Spurwechselszenarios erhöhen. Insbesondere können Benutzer in entsprechenden geeigneten Situationen ermutigt werden, das automatische Spurwechselmanöver einzuleiten oder ein jeweiliges ADAS zu aktivieren. Mit anderen Worten, Barrieren zwischen neuen Technologien und Endbenutzern können in dieser Weise überwunden werden. Es kann vermieden werden, dass ein Benutzer vergisst, eine Funktion für die Fahrerassistenz in geeigneten Situationen zu verwenden, oder der Benutzer kann auf diese Funktion aufmerksam gemacht werden.
-
In einigen Implementierungen werden die Veränderungen von Augenblickrichtungen auf einer virtuellen Oberfläche verwendet, um jeweilige Heatmaps zu erstellen. Es wurde festgestellt, dass solche Heatmaps speziellen Formen folgen, falls der Benutzer beabsichtigt, die Spuren zu wechseln. In anderen Implementierungen kann ein Modell künstlicher Intelligenz auf der Basis eines LSTM oder eines anderen RNN mit Blickverfolgungsdaten versehen werden und das Ergebnis kann optional mit der Häufigkeit der Spiegelprüfung kombiniert werden, was beispielsweise auf der Basis der Heatmap bestimmt werden kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
