DE102016215297A1

DE102016215297A1 - Verfahren zur Identifikation eines Fahrerwechsels bei einem Kraftfahrzeug

Info

Publication number: DE102016215297A1
Application number: DE102016215297.1A
Authority: DE
Inventors: Felix Wulf
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2016-08-17
Filing date: 2016-08-17
Publication date: 2018-02-22
Also published as: US20180053061A1; US10423846B2; CN107757625A; CN107757625B

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Identifikation eines Fahrerwechsels bei einem Kraftfahrzeug mit einer Innenraumkamera zur Überwachung des Fahrers, welches dadurch gekennzeichnet ist, dass auf einen Fahrerwechsel erkannt wird, wenn der Kopf des Fahrers nicht im Sichtbereich der Kamera erkannt wird. Weiterhin ist eine entsprechende Vorrichtung sowie ein Computerprogramm und maschinenlesbares Speichermedium vorgesehen.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Identifikation eines Fahrerwechsels bei einem Kraftfahrzeug mit einer Innenraumkamera zur Überwachung des Fahrers, welches dadurch gekennzeichnet ist, dass auf einen Fahrerwechsel erkannt wird, wenn der Kopf des Fahrers nicht im Sichtbereich der Kamera erkannt wird. Weiterhin ist eine entsprechende Vorrichtung sowie ein Computerprogramm und maschinenlesbares Speichermedium vorgesehen.
Stand der Technik
Aus dem Stand der Technik ist beispielsweise die Patentanmeldung DE 10 220 782 A1 bekannt. Diese Schrift betrifft ein Notfallsystem für Kraftfahrzeuge, mit einem Fahrerüberwachungssystem zur Erkennung einer Fahruntüchtigkeit des Fahrers und einer Steuereinrichtung zur gesteuerten Verzögerung des Fahrzeugs bei erkannter Fahruntüchtigkeit, dadurch gekennzeichnet, dass die Steuereinrichtung mit einem Fahrerassistenzsystem kombiniert ist, das eine Sensorik zur Erfassung des Verkehrsumfelds aufweist. Weiter ist offenbart, dass die Systeme, die zur Erfassung der biometrischen Daten dienen, auch so ausgebildet sein können, dass sie in der Lage sind, den Fahrer automatisch zu identifizieren. In diesem Fall wird der Nachsorgemodus beendet, wenn ein Fahrerwechsel erkannt wird.
Weiterhin ist aus dem Stand der Technik die Patentanmeldung DE 10 2014 212 758 A1 bekannt. Diese Schrift betrifft ein Verfahren sowie eine Vorrichtung beansprucht, die zur Identifikation des Fahrers eines Fahrzeugs dient. Als biometrische Parameter, die zusätzlich zur Identifikation herangezogen werden können, könnten beispielsweise der Fingerabdruck, die Handgeometrie, die Gesichtsgeometrie, die Herzfrequenz, der Griffhaltung (und Kraft) am Lenker, das Gewicht oder die Gewichtsverteilung auf dem Sattel erfasst werden.
Weiterhin sind heutige Eye-Tracking Systeme in der Lage, automatisiert ein Kopfmodell (relative Position aller relevanten facial landmarks) einer neuen Person zu erkennen. Dies wird zu Beginn einer jeden Fahrt durchgeführt. Nachdem das sogenannte Kopfmodell initialisiert wurde, sind diese Systeme in der Lage, die Position des Kopfes des Fahrers zu identifizieren und zu beobachten (tracken). Bei einer bestehenden Fahrerwechselerkennung gibt es jedoch Unsicherheiten dahingehend, ob der Fahrer tatsächlich gewechselt hat. Insbesondere in Systemzusammenstellungen, bei denen keine bildbasierte „Face-Identification“ verfügbar ist, kann der Fahrerwechsel nicht korrekt erkannt werden. Infolgedessen kann sich das Kopf-Modell des Fahrers nicht neu initialisieren, was in einer deutlich schlechteren Performance des Eye-Tracking Systems resultiert.
Offenbarung der Erfindung
Vorteilhaft ermöglicht hingegen das erfindungsgemäße Verfahren, dass mit einem Tracking System auch „Stand-Alone“, also ohne andere Sensoren oder Systeme, ein Fahrerwechsel erkennt und das Kopf-Modell neu initialisiert werden kann. Ermöglicht wird dies gemäß der Erfindung durch die Merkmale der unabhängigen Patentansprüche. Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.
Das erfindungsgemäße Verfahren zur Identifikation eines Fahrerwechsels bei einem Kraftfahrzeug mit einer Innenraumkamera zur Überwachung des Fahrers, ist dadurch gekennzeichnet, dass auf einen Fahrerwechsel erkannt wird, wenn der Kopf des Fahrers nicht im Sichtbereich der Innenraumkamera erkannt wird.
Hierunter wird verstanden, dass ein Fahrerwechsel angenommen wird, wenn die Kamera den Kopf des Fahrers nicht erkennen kann. Die Überwachung des Fahrers mittels einer Innenraumkamera ermöglicht eine Vielzahl von Funktionen, so ist bspw. mittels sog. Eyetracking die Blickrichtung des Fahrers ermittelbar, weiterhin kann eine Müdigkeitserkennung erfolgen, ebenso kann die Übernahmefähigkeit bspw. bei (teil-)autonomen Fahrten ermittelt werden. Der Kopf des Fahrers ist dabei eine Information, die aus den Daten der Innenraumkamera in den meisten Fällen der Fahrerüberwachung ermittelt werden kann. Das Verfahren kann daher als Stand-Alone Lösung verwendet werden, d.h. man ist nicht auf weitere Sensoren oder System oder Daten angewiesen, um einen Fahrerwechsel zu identifizieren. Durch das Verfahren ist es weiterhin möglich unnötige Neu-Initialisierungen zu vermeiden, jedoch eine nötige Neu-Initialisierung durchzuführen, um valide Ergebnisse zu erhalten.
In einer vorteilhaften Ausführungsform ist das Verfahren dadurch gekennzeichnet, dass auf einen Fahrerwechsel erkannt wird, wenn der Kopf des Fahrers für einen definierten ersten Zeitraum nicht im Sichtbereich der Innenraumkamera erkannt wird.
Hierunter wird verstanden, dass erst dann, wenn der Kopf für eine definierte Zeitdauer nicht im Sichtbereich der Kamera identifiziert wird, von einem Entfernen des Fahrers von dem Fahrerplatz sowie von einem Wechsel des Fahrers ausgegangene wird. Überraschend wurde erkannt, dass eine Zeitspanne von 10 Sekunden bereits eine hohe Sicherheit bei der Ermittlung eines Fahrerwechsels bietet. Durch die Berücksichtigung der zeitlichen Komponente wird vorteilhaft ein Fahrerwechsel mit einer erhöhten Sicherheit erkannt.
In einer möglichen Ausgestaltung ist das Verfahren dadurch gekennzeichnet, dass auf einen Fahrerwechsel erkannt wird, wenn erkannt wird, dass sich der Kopf des Fahrers nach links oder rechts aus dem Sichtbereich der Innenraumkamera heraus bewegt.
Hierunter wird verstanden, dass überprüft wird, ob in den Aufzeichnungen bevor der Fahrerkopf nicht mehr erkannt wird, eine Bewegung des Fahrerkopfes aus einem seitlichen Bereich des aufgenommenen Bildes heraus erkennbar ist. Es ist natürlich möglich, dass der Fahrer den Fahrersitz verlässt. Hierbei kann er bspw. durch die Fahrertüre bei stehendem Auto den Platz verlassen. Ebenfalls könnte der Fahrer bei einigen Fahrzeugen den Fahrersitz zur Mitte des Fahrzeugs verlassen, um bspw. auf einem anderen Sitz Platz zu nehmen. Daher werden beide Richtungen überprüft. Bei autonomen Fahrzeugen ist dies ggf. sogar während der Fahrt denkbar. Vorteilhaft verbessert sich die Sicherheit der Erkennung und Aussagequalität bzgl. einem Fahrerwechsel, wenn dieses zusätzliche Kriterium berücksichtigt wird.
In einer bevorzugten Ausgestaltung ist das Verfahren dadurch gekennzeichnet, dass auf einen Fahrerwechsel erkannt wird, wenn der Kopf des Fahrers für einen definierten zweiten Zeitraum nicht im Sichtbereich der Innenraumkamera erkannt wird.
Wie bereits ausgeführt, ermöglicht die Berücksichtigung einer Zeitkomponente bzgl. des nicht erkannten Fahrerkopfes eine weitere Steigerung der Aussagesicherheit. Hierbei können unterschiedliche Zeiträume definiert werden, in Abhängigkeit davon ob lediglich kein Fahrerkopf erkannt wird, oder ob darüber hinaus auch eine Bewegung des Fahrerkopfes nach links oder rechts aus dem Sichtbereich der Kamera hinaus erkannt wurde. Überraschend wurde erkannt, dass eine Zeitspanne von 5 Sekunden bereits eine hohe Sicherheit bei der Erkennung eines Fahrerwechsels bietet, falls sich der Fahrerkopf nach links oder rechts aus dem Sichtbereich der Kamera herausbewegt hat.
In einer alternativen Weiterbildung ist das Verfahren dadurch gekennzeichnet, dass eine Neuinitialisierung eines Kopfmodells erfolgt, wenn ein Fahrerwechsel erkannt wird.
Hierunter wird verstanden, dass eine neue Initialisierung des Kopfmodells dann erfolgt, wenn ein Fahrerwechsel angenommen wird. Das heißt, es wird nur im Falle dass ein Wechsel angenommen und/oder erkannt wurde, eine Neuinitialisierung vorgenommen. Hierdurch wird aber weiterhin die Möglichkeit geschaffen eine Initialisierung unabhängig von einem Start des Fahrzeugs durchzuführen. Wie bereits ausgeführt beinhaltet ein Kopfmodell einer relativen Position aller relevanten Gesichtspunkte (sog. facial landmarks). Bei einer Neuinitialisierung wird bspw. die Kamera angesteuert sowie das Steuergerät. Hierbei werden Bilddaten gewonnen und ausgewertet. Weiterhin kann auch eine Ansteuerung eines Displays für die Darstellung von Elementen zur Blickfokussierung oder Blickverfolgung erfolgen, um die Einstellungen für den neuen Fahrer zu kalibrieren. Vorteilhaft kann durch das Verfahren eine Vermeidung unnötiger neuer Initialisierungen erfolgen.
In einer möglichen Ausführungsform ist das Verfahren dadurch gekennzeichnet, dass auf Basis von Daten der Innenraumkamera bezüglich einer Überwachung des Fahrers auf einen Fahrerwechsel erkannt wird, wobei insbesondere keine Verwendung weiterer Sensoren oder Systeme erfolgt.
Hierunter wird verstanden, dass allein auf Basis der Daten der Innenraumkamera darüber entschieden wird, ob ein Fahrerwechsel angenommen, d.h. erkannt wird. Hierbei beziehen die Daten der Innenraumkamera weiterhin ausschließlich auf Daten der Überwachung des Fahrers. Das heißt, es werden Daten ermittelt, berücksichtigt und/oder ausgewertet, um bspw. eine Erkennung des Fahrerkopfes zu ermöglichen oder eine Bewegungen des Fahrerkopfes zu ermitteln. Insbesondere werden keine Daten ermittelt und/oder berücksichtigt, die eine Identifikation des Fahrers erlauben. Eine Identifikation ist meist nur mit sehr aufwendigen und teuren Systemen möglich. Vorteilhaft können derartige Systeme durch das Verfahren vermieden werden. Durch eine Fokussierung auf Daten zur Überwachung ergibt sich ein geringerer Aufwand zur Ermittlung und Auswertung der benötigten Daten. Weiterhin werden keine weiteren Sensoren oder System (zusätzlich zur Innenraumkamera) benötigt – hierdurch wird eine Stand-Alone Lösung ermöglicht.
Erfindungsgemäß ist weiterhin eine Vorrichtung (8) vorgesehen, die eingerichtet ist, das Verfahren (11) gemäß der Beschreibung auszuführen.
Hierunter ist insbesondere ein Steuergerät zu verstehen, welches eingerichtet ist, Mittel umfasst und ausgestaltet ist, das zuvor beschriebene Verfahren durchzuführen. Bspw. ist die Vorrichtung zur Identifikation eines Fahrerwechsels bei einem Kraftfahrzeug mit einer Innenraumkamera zur Überwachung des Fahrers, dadurch gekennzeichnet, dass die Vorrichtung eingerichtet ist, um auf einen Fahrerwechsel zu erkennen, wenn der Kopf des Fahrers nicht im Sichtbereich der Kamera erkannt wird. Neben dem Steuergerät ist bspw. auch die Kamera als eine entsprechende Vorrichtung zu verstehen.
Erfindungsgemäß ist weiterhin ein Computerprogramm vorgesehen, das dazu eingerichtet ist, das Verfahren (11) gemäß der Beschreibung auszuführen. Weiterhin ist ein maschinenlesbares Speichermedium vorgesehen, auf dem das Computerprogramm gespeichert ist.
Ausführungsformen
Es ist darauf hinzuweisen, dass die in der Beschreibung einzeln aufgeführten Merkmale in beliebiger, technisch sinnvoller Weise miteinander kombiniert werden können und weitere Ausgestaltungen der Erfindung aufzeigen. Weitere Merkmale und Zweckmäßigkeit der Erfindung ergeben sich aus der Beschreibung von Ausführungsbeispielen anhand der beigefügten Figuren.
Von den Figuren zeigt:
1 eine schematische Darstellung der Vorrichtungen zur Anwendung des Verfahrens in einem Kraftfahrzeug gemäß einer möglichen Ausgestaltung; und
2 ein Prozessdiagramm des Verfahrens gemäß einer möglichen Ausgestaltung.
1 zeigt eine schematische Darstellung einer beispielhaften Vorrichtung zur Anwendung des Verfahrens in einem Kraftfahrzeug. Hierbei ist ein Fahrer 1 in einem Kraftfahrzeug 3 gezeigt. Das Fahrzeug 3 weist ein Fahrerassistenzsystem 4 zur Ermittlung der Aufmerksamkeit des Fahrers 1 auf. Hierfür werden mittels einer Innenraumsensorik 7 Aufmerksamkeitsmerkmale beobachtet. In der dargestellten Ausführung wird mittels einer als Kamera ausgestalteten Innenraumsensorik 7 die Blickrichtung der Augen 2 des Fahrers 1 beobachtet. Ebenfalls werden Bewegungen des Kopfes 9 des Fahrers 1, insbesondere Sicherheitsblicke überwachte. Weiterhin ist ein Regel- und Steuergerät 8 vorgesehen zur Durchführung des Verfahrens. Dieses kann auch dazu eingerichtet sein, die mittels der Innenraumsensorik 7 ermittelten Daten vorzuverarbeiten und/oder eine Parameterberechnung durchzuführen. Weiterhin ist eine Vorrichtung 5 zur Ausgabe von Informationen 6 an den Fahrer 1 vorgesehen. Diese Vorrichtung 5 ist als Display ausgestaltet, das visuelle Warnhinweise als Informationen 6 an den Fahrer bei mangelnder Aufmerksamkeit ausgibt. Selbstverständlich sind auch Vorrichtungen (bspw. Lautsprecher) die eine auditive Übermittlung (bspw. über Lautsprecher) oder haptische Übertragung (bspw. mittels Lenkrad- oder Sitzvibrationen) von Informationen 6 an den Fahrer 1 ermöglichen.
2 zeigt ein Prozessdiagramm des Verfahrens 11 gemäß einer möglichen Ausgestaltung. Das Verfahren 11 startet in einem ersten Schritt S1. Der Start des Verfahrens kann dabei bspw. an die Zündung eines Fahrzeugs gekoppelt sein, so dass das Verfahren bei jedem Start des Fahrzeugs automatisch ausgeführt wird. In einem zweiten Schritt S2, wird das Kopfmodell neu initialisiert. Eine Initialisierung des Kopfmodells auf den jeweiligen Fahrer ist wichtig, um eine hohe Aussagequalität für das anschließende Tracking zu erhalten. Jedoch benötigt die Initialisierung etwas Zeit und Ressourcen, so dass das Modell nicht zu häufig neu initialisiert werden sollte. In einem dritten Schritt S3 erfolgt im Anschluss das Tracking. Hierbei wird bspw. ein sogenanntes Eyetracking durchgeführt, das heißt eine Überwachung der aktuellen Blickrichtung des Fahrers. Diese Überwachung erfolgt mittels der Innenraumkamera. Diese weist einen bauartbedingten Sichtbereich auf. Weiterhin ist diese so zu positionieren, dass der gewünschte Bereich des Fahrzeugs, bspw. der Kopf des Fahrers in einer regulären Fahrposition erfasst werden kann. Das heißt es kann nicht der gesamte Innenraum erfasst werden.
Während des Trackings wird nun in einer Bedingung B1 kontinuierlich (oder zu definierten Zeiten) überprüft, ob der Kopf des Fahrers erkannt wird. Ist dies der Fall (Y), wird mittels einer weiteren Bedingung B5 überprüft, ob das Verfahren gestoppt ist. Ist das Verfahren gestoppt (Y), bspw. weil ein manuelles Deaktivieren vorliegt oder das Fahrzeug geparkt wurde, endet das Verfahren mit Schritt S5. Ist das Verfahren jedoch nicht gestoppt (N), erfolgt weiterhin das Tracking in Schritt S3.
Ist der Kopf in B1 jedoch nicht erkannt (N), wird mittels der Bedingung B2 überprüft, ob der Kopf nach links oder rechts aus dem Sichtbereich der Kamera bewegt wurde. Ist dies nicht der Fall (N), d.h. ist keine Aussage möglich, ob sich der Kopf nach links oder rechts aus dem Sichtbereich bewegt hat, oder wurde erkannt, dass sich der Kopf nicht nach links oder rechts aus dem Sichtbereich der Kamera bewegt hat, wird in einer Bedingung B3 überprüft ob der Kopf innerhalb eines definierten ersten Zeitraums wieder erkannt wird. Ist dies jedoch der Fall (Y), d.h. wurde erkannt, dass sich der Kopf nach links oder rechts aus dem Sichtbereich der Kamera bewegt hat, wird in einer Bedingung B4 überprüft, ob der Kopf innerhalb eines definierten zweiten Zeitraums wieder erkannt wird. Hierbei ist der definierte zweite Zeitraum bspw. kürzer als der defilierte erste Zeitraum.
Ist die Bedingung B3 erfüllt (Y), wird das Tracking mit Schritt S3 fortgesetzt. Ist die Bedingung B3 nicht erfüllt (N), erfolgt in einem Schritt S4 die Annahme dass ein Fahrerwechsel vorliegt. Im Anschluss erfolgt in dem Schritt S2 eine neue Initialisierung des Kopfmodells. D.h. es wird ein Kopfmodell für den angenommenen neuen Fahrer erstellt.
Ist weiterhin die Bedingung B4 erfüllt (Y) wird das Tracking mit Schritt S3 fortgesetzt. Ist die Bedingung B4 nicht erfüllt (N), erfolgt in einem Schritt S4 die Annahme dass ein Fahrerwechsel vorliegt. Im Anschluss erfolgt in dem Schritt S2 eine neue Initialisierung des Kopfmodells. D.h. es wird ein Kopfmodell für den angenommenen neuen Fahrer erstellt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10220782 A1 [0002]
DE 102014212758 A1 [0003]

Claims

Verfahren (11) zur Identifikation eines Fahrerwechsels bei einem Kraftfahrzeug (3) mit einer Innenraumkamera (7) zur Überwachung des Fahrers (1), dadurch gekennzeichnet, dass auf einen Fahrerwechsel erkannt wird, wenn der Kopf (9) des Fahrers (1) nicht im Sichtbereich der Innenraumkamera (7) erkannt wird.
Verfahren (11) nach Anspruch 1, dadurch gekennzeichnet, dass auf einen Fahrerwechsel erkannt wird, wenn der Kopf (9) des Fahrers (1) für einen definierten ersten Zeitraum nicht im Sichtbereich der Innenraumkamera (7) erkannt wird.
Verfahren (11) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf einen Fahrerwechsel erkannt wird, wenn erkannt wird, dass sich der Kopf (9) des Fahrers (1) nach links oder rechts aus dem Sichtbereich der Innenraumkamera (7) heraus bewegt.
Verfahren (11) nach Anspruch 3, dadurch gekennzeichnet, dass auf einen Fahrerwechsel erkannt wird, wenn der Kopf (9) des Fahrers (1) für einen definierten zweiten Zeitraum nicht im Sichtbereich der Innenraumkamera (7) erkannt wird.
Verfahren (11) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Neuinitialisierung eines Kopfmodells erfolgt, wenn ein Fahrerwechsel erkannt wird.
Verfahren (11) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf Basis von Daten der Innenraumkamera (7) bezüglich einer Überwachung des Fahrers (1) auf einen Fahrerwechsel erkannt wird, wobei insbesondere keine Verwendung weiterer Sensoren oder Systeme erfolgt.
Vorrichtung (8, 7), die eingerichtet ist, das Verfahren (11) gemäß einem der Ansprüche 1 bis 6 auszuführen.
Computerprogramm, das dazu eingerichtet ist, das Verfahren (11) gemäß einem der Ansprüche 1 bis 6 auszuführen.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 8 gespeichert ist.