DE102013019191B4

DE102013019191B4 - Verfahren und Vorrichtung zum Betreiben wenigstens eines Assistenzsystems eines Kraftwagens

Info

Publication number: DE102013019191B4
Application number: DE102013019191.2A
Authority: DE
Inventors: Marcus Kühne
Original assignee: Audi AG
Current assignee: Audi AG
Priority date: 2013-11-15
Filing date: 2013-11-15
Publication date: 2016-07-14
Anticipated expiration: 2033-11-16
Also published as: DE102013019191A1

Abstract

Verfahren zum Betreiben wenigstens eines Assistenzsystems (14) eines Kraftwagens (10), mit den Schritten: – Erfassen jeweiliger Augenausrichtungen eines Fahrers (18) des Kraftwagens mittels einer Blickerfassungseinrichtung (16) für eine Mehrzahl aufeinander folgender Zeitpunkte; – Ermitteln, ob die jeweils erfassten Augenausrichtungen innerhalb zumindest eines vorgegebenen Winkelbereichs (α, β) liegen; – Solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb des vorgegebenen Winkelbereichs (α, β) liegen: – Ermitteln jeweiliger Blickrichtungen (24) des Fahrers (18) anhand der jeweils erfassten Augenausrichtungen; – Speichern der ermittelten Blickrichtungen (24); – Betreiben des Assistenzsystems (14) unter Berücksichtigung der jeweils ermittelten Blickrichtungen (24); – Sobald ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs (α, β) liegt: – Ermitteln eines Verlassensvektors (26) unter Berücksichtigung der zuvor gespeicherten Blickrichtungen (24), wobei der Verlassensvektor (26) die Richtung (36) charakterisiert, in welche die Augen (20) des Fahrers (18) beim Verlassen des vorgegebenen Winkelbereichs (α, β) verschwenkt worden sind; – Betreiben des Assistenzsystems (14) unter Berücksichtigung des ermittelten Verlassensvektors (26).

Description

Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zum Betreiben wenigstens eines Assistenzsystems eines Kraftwagens.
Es sind Verfahren und Systeme bekannt, mittels welchen unterschiedliche Funktionen eines Kraftwagens in Abhängigkeit einer erfassten Blickrichtung ausgeführt werden können. Beispielsweise zeigt die DE 10 2012 006 966 A1 ein Verfahren zum Auslösen einer fahrzeugseitig ausführbaren Funktion, wobei in Abhängigkeit einer erfassten Blickrichtung eines Fahrers des Kraftwagens eine Funktion des Kraftwagens ausgelöst werden kann.
Bei derartigen Verfahren werden üblicherweise kamera- und softwarebasierte Blickerfassungseinrichtungen eingesetzt, mittels welchen die Augen des Fahrers aufgenommen und die jeweiligen Aufnahmen analysiert werden, um eine Blickrichtung des Fahrers zu ermitteln. Die Genauigkeit der Blickrichtungserfassung wird dabei durch unterschiedlichste Faktoren beeinflusst. Üblicherweise weisen derartige Blickerfassungseinrichtungen einen eingeschränkten Erfassungsbereich auf, innerhalb welchem sich die Augen des Nutzers befinden müssen, um eine hinreichend genaue Blickrichtungsermittlung durchführen zu können.
Die US 2006 0023918 A1 und die DE 10241993 B3 zeigen Verfahren, mittels welchem die Position des Kopfes eines Fahrers eines Kraftwagens erfasst werden kann.
Die DE 10 2010 013 243 A1 zeigt ebenfalls ein Verfahren zur Ermittlung einer Kopfposition eines Fahrers eines Kraftwagens, wobei neben dem Kopf des Fahrers auch ein Lenkrad des Kraftwagens mittels einer Kamera aufgenommen wird.
Die DE 10360176 A1 zeigt einen Kraftwagen mit einem Sensor zur Überwachung eines Fahrers des Kraftwagens, wobei der Sensor derart positioniert ist, dass ein Strahlengang ausgehend vom Sensor bis zum Gesicht des Fahrers weder durch Teile des Kraftwagens noch durch den Fahrer selbst, sofern sich dieser in einer beim Fahren des Kraftwagens üblichen Haltung befindet, versperrt wird.
Die US 2006 0018518 A1 zeigt ein Verfahren und eine Vorrichtung zum Erfassen einer dreidimensionalen Position eines Fahrzeuginsassen, wobei eine Kopfposition des Fahrzeuginsassen mittels eines optischen Sensors erfasst wird.
Die DE 10 2012 222 519 A1 zeigt ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs. Sobald erfasst wird, dass ein vorgegebener Lenkwinkel eines Lenkrads überschritten worden ist, wird anhand einer erfassten Blickrichtung eines Fahrers des Kraftfahrzeugs überprüft, ob der Fahrer seinen Blick auf einen Rückspiegel und/oder Seitenspiegel gerichtet hat. Falls dies nicht der Fall sein sollte, wird eine Warnmeldung ausgegeben.
Die DE 10 2008 038 831 A1 zeigt ebenfalls ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs. Es wird eine Differenz zwischen einer aktuellen Blickrichtung eines Fahrers des Kraftfahrzeugs und einer Sollblickrichtung ermittelt. In Abhängigkeit von der ermittelten Differenz wird entweder eine Warnmeldung an den Fahrer ausgegeben oder die Ausgabe der Warnmeldung unterlassen.
Es ist die Aufgabe der vorliegenden Erfindung, eine verbesserte Blickrichtungsermittlung, insbesondere zum Betreiben zumindest eines Assistenzsystems eines Kraftwagens, zu ermöglichen.
Diese Aufgabe wird durch ein Verfahren sowie durch eine Vorrichtung zum Betreiben wenigstens eines Assistenzsystems eines Kraftwagens mit den Merkmalen der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen und nicht-trivialen Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
Das erfindungsgemäße Verfahren zum Betreiben wenigstens eines Assistenzsystems eines Kraftwagens umfasst folgende Schritte:

– Erfassen jeweiliger Augenausrichtungen eines Fahrers des Kraftwagens mittels einer Blickerfassungseinrichtung für eine Mehrzahl aufeinander folgender Zeitpunkte;
– Ermitteln, ob die jeweils erfassten Augenausrichtungen innerhalb zumindest eines vorgegebenen Winkelbereichs liegen;
– solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb des vorgegebenen Winkelbereichs liegen:
– Ermitteln jeweiliger Blickrichtungen des Fahrers anhand der jeweils erfassten Augenausrichtungen;
– Speichern der ermittelten Blickrichtung;
– Betreiben des Assistenzsystems unter Berücksichtigung der jeweils ermittelten Blickrichtung;
– sobald ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs liegt:
– Ermitteln eines Verlassensvektors unter Berücksichtigung der zuvor gespeicherten Blickrichtungen, wobei der Verlassensvektor die Richtung charakterisiert, in welche die Augen des Fahrers beim Verlassen des vorgegebenen Winkelbereichs verschwenkt worden sind;
– Betreiben des Assistenzsystems unter Berücksichtigung des ermittelten Verlassensvektors.

Der Erfindung liegt die Erkenntnis zugrunde, dass für eine hinreichend genaue Ermittlung einer Blickrichtung eines Fahrers nicht nur die Positionierung seines Kopfes und somit seiner Augen innerhalb eines bestimmten Erfassungsbereichs erforderlich ist, innerhalb welchem die Blickerfassungseinrichtung eine hinreichend genaue Blickrichtung des Fahrers anhand der aufgenommenen Augen des Fahrers ermitteln kann. Insbesondere ab einer gewissen Winkelabweichung der Augen des Fahrers von einem gut erfassbaren Winkelbereich der Blickerfassungseinrichtung kann ein entsprechendes Kamerasystem der Blickerfassungseinrichtung nicht mehr genau erfassen, beziehungsweise ermitteln, wohin der Fahrer schaut.
Daher ist es erfindungsgemäß vorgesehen, die Augen des Fahrers für eine Mehrzahl aufeinander folgender Zeitpunkte aufzunehmen und anhand dessen die jeweiligen Augenausrichtungen des Fahrers zu erfassen. Anschließend wird ermittelt, ob die jeweils erfassten Augenausrichtungen innerhalb eines vorgegebenen Winkelbereichs liegen, in welchem eine Blickrichtung des Fahrers anhand der erfassten Augenausrichtung noch mit einer vorgegebenen Genauigkeit mittels der Blickerfassungseinrichtung ermittelt werden kann. Vorzugsweise wird darüber hinaus auch ermittelt, ob die Augen des Fahrers sich in einem vorgegebenen Erfassungsbereich der Blickerfassungseinrichtung befinden, innerhalb welchem eine Erfassung der Augen überhaupt möglich ist.
Solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb des vorgegebenen Winkelbereichs liegen, werden die jeweiligen Blickrichtungen des Fahrers anhand der erfassten Augenausrichtungen ermittelt und gespeichert, wobei zumindest ein Assistenzsystem des Kraftwagens unter Berücksichtigung der jeweils ermittelten Blickrichtungen betrieben wird. Sobald jedoch ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs liegt, wird der erfindungsgemäße Verlassensvektor unter Berücksichtigung der zuvor gespeicherten Blickrichtungen ermittelt, wobei der Verlassensvektor in Abhängigkeit der zuvor hinreichend genau ermittelten Blickrichtungen derart bestimmt wird, dass der Verlassensvektor die Richtung charakterisiert, in welche die Augen des Fahrers beim Verlassen des vorgegebenen Winkelbereichs verschwenkt worden sind. Anschließend wird das Assistenzsystem unter Berücksichtigung des ermittelten Verlassensvektors betrieben.
Durch das erfindungsgemäße Verfahren ist es möglich, eine Blickerfassungseinrichtung auch mit einer einzigen oder einer geringen Anzahl an Kameras beziehungsweise Kamerasystemen zu betreiben, welche nicht an unterschiedlichen Positionen innerhalb des Kraftwagens positioniert werden müssen, da mittels des erfindungsgemäßen Verfahrens mit einer relativ großen Verlässlichkeit Informationen darüber erhoben werden können, in welche Richtung der Fahrer gerade schaut, auch wenn seine Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs liegen sollten.
In vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass unter Berücksichtigung des Verlassensvektors eine voraussichtliche Blickrichtung des Fahrers ermittelt und beim Betreiben des Assistenzsystems berücksichtigt wird. Beispielsweise wird der Verlassensvektor gleichgesetzt mit der voraussichtlichen Blickrichtung des Fahrers, so dass anhand des Verlassensvektors auf einfache Weise abgeschätzt beziehungsweise ermittelt werden kann, in welche Richtung der Fahrer gerade blickt, auch wenn seine Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs liegen sollten, so dass eine zuverlässige und hinreichend genaue Blickrichtungsermittlung anhand der erfassten Augenausrichtungen nicht möglich ist.
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung ist es vorgesehen, dass anhand des Verlassensvektors ermittelt wird, ob der Fahrer seinen Blick auf eine optische Warneinrichtung des Assistenzsystems gerichtet hat, mittels welcher ein optisches Warnsignal ausgegeben wird. Somit kann also auch wenn der Fahrer seine Augen derart ausgerichtet haben sollte, dass eine hinreichend genaue Blickrichtungsermittlung gar nicht möglich ist, trotzdem anhand des Verlassensvektors überprüft oder abgeschätzt werden, ob der Fahrer seinen Blick auf eine optische Warneinrichtung des Assistenzsystems gerichtet hat und somit die optische Warnmeldung des Assistenzsystems überhaupt wahrnehmen kann. Dies kann wiederum zur Ansteuerung des Assistenzsystems beziehungsweise auch zur Parametrisierung des Assistenzsystems genutzt werden.
In weiterer vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass eine akustische und/oder haptische Warnmeldung ausgegeben wird, falls anhand des Verlassensvektors ermittelt worden ist, dass der Fahrer seinen Blick von der optischen Warneinrichtung abgewendet hat. Sobald also anhand des Verlassensvektors davon ausgegangen werden kann, dass der Fahrer gerade seinen Blick nicht auf die optische Warneinrichtung gerichtet hat, während durch diese eine optische Warnmeldung ausgegeben wird, wird der Fahrer über akustische und/oder haptische Warnmeldungen zusätzlich informiert beziehungsweise gewarnt. Die Wahrnehmbarkeit des betreffenden Warnsignals kann dadurch bedarfsgerecht erhöht werden, so dass die Wahrnehmbarkeit durch den Fahrer des Kraftwagens auch bei einer eventuellen Blickabwendung von der optischen Warneinrichtung sichergestellt werden kann.
In weiterer vorteilhafter Ausgestaltung der Erfindung ist es vorgesehen, dass eines oder mehrere Assistenzsysteme, welche die Längsführung und/oder die Querführung des Kraftwagens überwachen und/oder beeinflussen, unter Berücksichtigung des ermittelten Verlassensvektors betrieben werden. Mit anderen Worten kann es sich bei den Assistenzsystemen um Fahrerassistenzsysteme, wie beispielsweise einen Abstandsregeltempomat, einen Abstandswarner, ein Spurerkennungssystem, einen Spurhalteassistent, einen Spurwechselassistent, eine Spurwechselunterstützung oder dergleichen handeln, welche den Kraftfahrer beim Führen des Kraftwagens unterstützen. Mit Hilfe des Verlassensvektors und der damit bestimmbaren, voraussichtlichen Blickrichtung des Fahrers kann auch in Fällen, in welchen eine nicht hinreichend genaue Blickrichtungsermittlung möglich ist, sichergestellt werden, dass die betreffenden Assistenzsysteme zumindest in Kenntnis einer prognostizierten Blickrichtung, welche unter Berücksichtigung des Verlassensvektors ermittelt wird, betrieben werden können. Dadurch kann die Sicherheit beim Führen des Kraftwagens erheblich erhöht werden.
Eine weitere vorteilhafte Ausführungsform der Erfindung sieht vor, dass die Häufigkeit pro Zeiteinheit, mittels welcher die jeweiligen Augenausrichtungen erfasst werden, unter Berücksichtigung der Augenbewegungen des Fahrers verändert werden. Beispielsweise kann es sich bei dem Fahrer um einen solchen Fahrer handeln, der seine Augen relativ häufig und schnell verschwenkt, wobei in einem derartigen Fall die Erfassung der jeweiligen Augenausrichtungen besonders häufig, beispielsweise mit 100 Hertz oder mehr, erfasst wird. Sollte es sich hingegen um einen Fahrer handeln, welcher seine Augen nicht so häufig und auch nicht so schnell hin und her verschwenkt, kann die Häufigkeit pro Zeiteinheit, mittels welcher die jeweiligen Augenausrichtungen erfasst werden, entsprechend reduziert werden. Durch die Anpassung an die Blickgewohnheiten des Fahrers kann eine besonders zuverlässige Erfassung der Augenausrichtungen und somit auch eine besonders zuverlässige Ermittlung der jeweiligen Blickrichtungen beziehungsweise des entsprechenden Verlassensvektors sichergestellt werden.
Gemäß einer weiteren vorteilhaften Ausführungsform der Erfindung ist es vorgesehen, dass der Winkelbereich unter Berücksichtigung von zumindest einem Parameter, welcher die Genauigkeit der Blickrichtungsermittlung beeinflusst, verändert wird. Vorzugsweise wird der Winkelbereich unter Berücksichtigung der Eigenschaften des Fahrers und/oder der Blickerfassungseinrichtung verändert. Bei den Fahrereigenschaften kann es sich beispielsweise um die Reflektionseigenschaften seiner Retina, seiner Fähigkeit, jeweilige Objekte zu fokussieren, eventuelle Sehhilfen oder auch um Eigenschaften seiner Pupillenverengung beziehungsweise -weitung handeln. Bei den Eigenschaften der Blickerfassungseinrichtung kann es sich beispielsweise um eine entsprechende Beleuchtung handeln, mittels welcher die Augen des Fahrers, zum Beispiel mit Infrarotlicht, beleuchtet werden, um die jeweiligen Augenausrichtungen zu ermitteln. In diesem Zusammenhang können die Lichtintensität, die Platzierung etwaiger Lichtquellen und dergleichen Berücksichtigung finden. Darüber hinaus kann auch eine Kalibrierung der Blickerfassungseinrichtung berücksichtigt werden, wie beispielsweise die Anzahl verwendeter Kalibrierungspunkte und die Variation von diesen. Durch die Anpassung des Winkelbereichs kann die exakte Ermittlung der Blickrichtungen des Fahrers nochmals verbessert werden.
Die erfindungsgemäße Vorrichtung zum Betreiben wenigstens eines Assistenzsystems eines Kraftwagens umfasst eine Blickerfassungseinrichtung, welche dazu ausgelegt ist, jeweilige Augenausrichtungen eines Fahrers des Kraftwagens für eine Mehrzahl aufeinander folgender Zeitpunkte zu erfassen und zu ermitteln, ob die jeweils erfassten Augenausrichtungen innerhalb eines vorgegebenen Winkelbereichs liegen. Die Vorrichtung umfasst des Weiteren eine Datenverarbeitungseinrichtung, welche dazu ausgelegt ist, jeweilige Blickrichtungen des Fahrers anhand der jeweils erfassten Augenausrichtungen zu ermitteln und zu speichern, solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb des vorgegebenen Winkelbereichs liegen. Die Datenverarbeitungseinrichtung ist darüber hinaus dazu ausgelegt, einen Verlassensvektor unter Berücksichtigung der zuvor gespeicherten Blickrichtungen zu ermitteln, wobei der Verlassensvektor die Richtung charakterisiert, in welcher die Augen des Fahrers beim Verlassen des vorgegebenen Winkelbereichs verschwenkt worden sind, sobald ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs liegt. Ferner umfasst die Vorrichtung eine Steuereinrichtung, welche dazu ausgelegt ist, das Assistenzsystem unter Berücksichtigung der jeweils ermittelten Blickrichtungen und unter Berücksichtigung des ermittelten Verlassensvektors zu betreiben. Vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens sind als vorteilhafte Ausgestaltungen der Vorrichtung anzusehen, wobei die Vorrichtung insbesondere Mittel zur Durchführung der Verfahrensschritte umfasst.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Die Zeichnung zeigt in:
1 eine schematische Darstellung eines Kraftwagens mit einer Vorrichtung zum blickrichtungsabhängigen Betreiben eines Assistenzsystems des Kraftwagens;
2 eine schematische Darstellung eines Fahrers des Kraftwagens, wobei vor dem Fahrer eine Blickerfassungseinrichtung angeordnet ist;
3 eine schematische Darstellung, in welcher unterschiedliche Augenausrichtungen des Fahrers dargestellt sind;
4 eine schematische Seitenansicht des Fahrers, wobei ein Winkelbereich dargestellt ist, innerhalb welchem eine Blickrichtung des Fahrers anhand einer erfassten Augenausrichtung mit einer vorgegebenen Genauigkeit ermittelbar ist;
5 eine schematische Draufsicht auf den Fahrer des Kraftwagens, wobei ein weiterer Winkelbereich dargestellt ist, innerhalb welchem eine Blickrichtung des Fahrzeuginsassen anhand der erfassten Augenausrichtung mit einer vorgegebenen Genauigkeit ermittelbar ist; und in
6 eine weitere schematische Draufsicht auf den Fahrer des Kraftwagens, wobei mittels einer Mehrzahl von gestrichelten Linien jeweilige Blickrichtungen des Fahrers dargestellt sind.
Ein Kraftwagen 10 ist in einer schematischen Darstellung in 1 gezeigt. Der Kraftwagen 10 umfasst eine Vorrichtung 12 zum Betreiben eines Assistenzsystems 14 des Kraftwagens 10. Die Vorrichtung 12 umfasst eine Blickerfassungseinrichtung 16, welche dazu ausgelegt ist, jeweilige Augenausrichtungen eines Fahrers 18 des Kraftwagens 10 für eine Mehrzahl aufeinander folgender Zeitpunkte zu erfassen und zu ermitteln, ob die jeweils erfassten Augenausrichtungen innerhalb hier nicht dargestellter, vorgegebener Winkelbereiche α, β, liegen. Die Blickerfassungseinrichtung 16 kann eine oder mehrere hier nicht dargestellte Kameras umfassen, mittels welchen die Augen 20, von welchen im vorliegenden Fall nur eines dargestellt ist, aufgenommen werden können. Die Blickerfassungseinrichtung 16 umfasst darüber hinaus eine hier ebenfalls nicht dargestellte Lichtquelle, mittels welcher Infrarotlicht in Richtung der Augen 20 des Fahrers 18 ausgestrahlt werden können, wobei mittels der Kamera das danach durch die Augen 20 reflektierte Licht 20 aufgenommen und ausgewertet wird.
Die Vorrichtung 12 umfasst des Weiteren eine Datenverarbeitungseinrichtung 22, welche dazu ausgelegt ist, jeweilige, hier mit der durchgezogenen Linie 24 gekennzeichnete Blickrichtungen des Fahrers 18 anhand der jeweils erfassten Augenausrichtung zu ermitteln und zu speichern, solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb der vorgegebenen Winkelbereiche α, β liegen. Der Kraftwagen 10 umfasst des Weiteren eine optische Warneinrichtung 23, welche mit dem Assistenzsystem 14 verbunden ist. Das Assistenzsystem 14 kann die optische Warneinrichtung ansteuern, um bei Bedarf mittels dieser eine optische Warnmeldung auszugeben. Zudem umfasst der Kraftwagen 10 eine Anzeigeeinrichtung 23, wobei diese blickrichtungsabhängig von dem Fahrer 18 angesteuert werden kann. Beispielsweise kann bei einer erfassten Blickzuwendung des Fahrers 18 auf die Anzeigeeinrichtung 23 eine hier nicht dargestellte Steuerung in Form eines Bedienelements aktiviert werden, mittels welchem der Fahrer 18 die Anzeigeeinrichtung 23 steuern kann. Zum Beispiel kann es sich bei der Anzeigeeinrichtung 23 um ein Kombiinstrument des Kraftwagens handeln. Die Blickerfassungseinrichtung 16 dient vor allem dazu, Blickzu- und Blickabwendungen von der Anzeigeeinrichtung 21 zu erfassen, die zuvor beispielhaft erläuterte Interaktion des Fahrers 18 mit dieser zu aktivieren oder zu deaktivieren. Letzteres kann beispielsweise immer dann erfolgen, wenn erfasst worden ist, dass der Fahrer 18 seinen Blick von der Anzeigeeinrichtung 21 abgewendet hat. Die Blickerfassungseinrichtung 16 ist daher auch entsprechend im Kraftwagen 10 positioniert, dass die Blickzuwendung und Blickabwendung von der Anzeigeeinrichtung 21 möglichst gut ermittelt und erfasst werden kann.
Die Datenverarbeitungseinrichtung 22 ist darüber hinaus dazu ausgelegt, einen hier nicht dargestellten Verlassensvektor 26 unter Berücksichtigung der zuvor gespeicherten Blickrichtungen 24 zu ermitteln, wobei der Verlassensvektor 26 die Richtung charakterisiert, in welche die Augen 20 des Fahrers 18 beim Verlassen der vorgegebenen Winkelbereiche α, β verschwenkt worden sind, sobald ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb von zumindest einem der vorgegebenen Winkelbereiche α, β liegt. Schließlich umfasst die Vorrichtung 12 noch eine Steuereinrichtung 28, welche dazu ausgelegt ist, das Assistenzsystem 14 unter Berücksichtigung der jeweils ermittelten Blickrichtungen 24 und unter Berücksichtigung des ermittelten Verlassensvektors 26 zu betreiben.
In 2 sind die Blickerfassungseinrichtung 16 sowie der Fahrer 18 in einer schematischen Darstellung gezeigt. Um den Kopf des Fahrers 18 herum ist vorliegend ein Volumenelement 28 eingezeichnet, wobei es für eine hinreichend genaue Blickrichtungsermittlung des Fahrers 18 erforderlich ist, dass der Kopf und somit auch die Augen 20 des Fahrers 18 innerhalb dieses Volumenelements 28, welches auch als Trackbox bezeichnet wird, angeordnet sind. Mit anderen Worten handelt es sich bei dem Volumenelement 28 um einen Erfassungsbereich der Blickerfassungseinrichtung 16, wobei eine Blickrichtungsermittlung mit einer vorgegebenen Genauigkeit nur dann möglich ist, wenn sich die Augen 20 in diesem Bereich finden.
Zwischen der Blickerfassungseinrichtung 16 und dem Fahrer 18 ist eine schraffierte Fläche 30 dargestellt. Neben der Positionierung der Augen 20 innerhalb des Volumenelements 28 ist es zur hinreichend genauen Blickrichtungsermittlung zudem erforderlich, dass der Fahrer 18 seine Augen 20 derart ausgerichtet hat, dass sein Blick auf die Fläche 30 beziehungsweise durch diese hindurch gerichtet ist. Je nach Ausrichtung seines Kopfes und seiner Augen 20 kann es dabei vorkommen, dass der Fahrer 18 nicht durch die Fläche 30 hindurchblickt, sondern beispielsweise seitlich an dieser vorbei oder darüber oder darunter hindurchschaut. In solchen Fällen ist eine hinreichend genaue Ermittlung der Blickrichtung 24 des Fahrers 18 mittels der Blickerfassungseinrichtung 16 nicht mehr gewährleistet. selbst wenn die Augen 20 sich noch innerhalb des Volumenelements 28 befinden.
Des Weiteren ist in 2 ein fahrzeugfestes Koordinatensystem eingezeichnet, wobei mit x die Fahrzeuglängsrichtung, mit y die Fahrzeugquerrichtung und mit z die Fahrzeughochrichtung eingezeichnet ist, wobei auf diese Richtungsangaben zur besseren Orientierung in den nachfolgenden Figuren ebenfalls eingezeichnet sind.
In 3 sind in einer schematischen Darstellung unterschiedliche Augenausrichtungen des Auges 20 des Fahrers 18 dargestellt, wobei nur eines der Augen 20 mit einem Bezugszeichen versehen ist, um die Übersichtlichkeit der Darstellung zu gewährleisten. Wie zu erkennen ist, können die Augen 20 des Fahrers 18 auf unterschiedlichste Art und Weise verschwenkt werden, wobei die Pupille 32 entsprechend mitverschwenkt wird. Unter der Augenausrichtung ist allerdings auch neben der reinen Verschwenkung der Augen 20 auch die Ausrichtung der Augen 20 zu verstehen, welche sich auch einer Verschwenkung des Kopfs des Fahrers 18 ergibt. Die Augenausrichtung ist entspricht somit also der tatsächlichen Blickrichtung des Fahrers 18.
In 4 ist der Fahrer 18 in einer schematischen Seitenansicht teilweise dargestellt. Des Weiteren ist der vorgehenden Winkelbereich α dargestellt, welcher um die Fahrzeugquerachse y aufgespannt ist. Mit dem Winkelbereich α wird also ein Winkelbereich vorgegeben, welcher die Augenausrichtungen beziehungsweise die Verschwenkung der Augen 20 des Fahrers 18 um die Fahrzeugquerachse y beschreibt. Der Winkelbereich α ist dabei unter Berücksichtigung der Positionierung der Augen 20 des Fahrers 18 derart vorgegeben, dass dieser sofern die Augenausrichtung innerhalb des vorgegebenen Winkelbereichs α liegt, durch die in 2 dargestellte schraffierte Fläche 30 blickt.
In 5 ist der vorgegebene Winkelbereich β eingezeichnet, wobei der Fahrer 18 nun in einer schematischen Draufsicht gezeigt ist. Der Winkelbereich β ist somit um die Fahrzeughochachse z aufgespannt. Der Winkelbereich β begrenzt also die zulässigen Augenausrichtungen des Fahrers 18 bezüglich möglicher Verschwenkbewegungen um die Fahrzeughochachse z, so dass, wenn der Fahrer 18 seine Augenausrichtung innerhalb des vorgegebenen Winkelbereichs β vornimmt, nachwievor noch durch die in 2 schraffiert gekennzeichnete Fläche 30 blickt.
Nachfolgend wird ein Verfahren zum Betreiben des Assistenzsystems 14 beschrieben. Für eine Mehrzahl aufeinander folgender Zeitpunkte werden jeweilige Augenausrichtungen des Fahrers 18 mittels der Blickerfassungseinrichtung 16 erfasst. Dabei wird ermittelt, ob die jeweils erfassten Augenausrichtungen innerhalb der vorgegebenen Winkelbereiche α, β liegen. Solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb der vorgegebenen Winkelbereiche α, β liegen, werden jeweilige Blickrichtungen 24 des Fahrers 18 anhand der jeweils erfassten Augenausrichtungen ermittelt und die Blickrichtungen 24 anschließend gespeichert. Das Assistenzsystem 14 wird dabei unter Berücksichtigung der jeweils ermittelten Blickrichtungen 24 betrieben. Bei dem Assistenzsystem kann es sich beispielsweise um einen Spurwechselassistenten, welcher auch als Totwinkel-Assistent bezeichnet wird, handeln, welcher den Fahrer 18 vor drohenden Kollisionen bei einem Spurwechsel warnt. Sobald zum Beispiel auf einer linken Nachbarspur ein herannahendes Fahrzeug ermittelt worden ist, erfolgt eine Warnmeldung an den Fahrer 18, beispielsweise über die zuvor erwähnte Warneinrichtung 23, mittels welcher ein optisches Warnsignal zum Beispiel im Bereich eines linken Außenspiegels des Kraftwagens 10 ausgegeben wird.
Sobald ermittelt wird, dass eine der erfassten Augenausrichtungen des Fahrers 18 außerhalb der vorgegebenen Winkelbereiche α, β liegt, wird der Verlassensvektor 26 ermittelt.
In 6 ist der Fahrer 18 in einer schematischen Draufsicht gezeigt, wobei der Winkelbereich β sowie eine Vielzahl von Blickrichtungen 24 des Fahrers 18 mittels der gestrichelten Linien dargestellt sind, welche bereits ermittelt und gespeichert worden sind. Der Verlassensvektor 26 wird also unter Berücksichtigung der zuvor gespeicherten Blickrichtungen 24 ermittelt, wobei der Verlassensvektor 26 die Richtung charakterisiert, in welche die Augen 20 des Fahrers 18 beim Verlassen des vorgegebenen Winkelbereichs β verschwenkt worden sind.
Im vorliegenden Fall ist die Verschwenkungsrichtung der Augen 20 des Kraftfahrers 18 mit dem Pfeil 34 gekennzeichnet. Der Fahrer 18 hat seine Augen 20 im vorliegenden Fall also sukzessive von links nach rechts verschwenkt und dabei den Winkelbereich β verlassen. Mit der ganz rechts eingezeichneten, punktierten Linie 36 ist die tatsächliche aktuelle Blickrichtung des Fahrers 18 dargestellt. Unter Berücksichtigung des Verlassensvektors 26 wird anschließend eine voraussichtliche Blickrichtung des Fahrers 18 ermittelt und beim Betreiben des Assistenzsystems berücksichtigt. Im vorliegenden Fall hat der Fahrer 18 mit seinen Augen 20 also den Winkelbereich β nach rechts verlassen, so dass von einer voraussichtlichen Blickrichtung nach rechts ausgegangen wird.
Anhand des Verlassensvektors 26 beziehungsweise der anhand des Verlassensvektors 26 ermittelten voraussichtlichen Blickrichtung des Fahrers 18 wird ermittelt, ob der Fahrer 18 seinen Blick auf die optische Warneinrichtung 23 des Assistenzsystems 14 gerichtet hat, mittels welcher ein optisches Warnsignal ausgegeben wird. Im vorliegend beschriebenen Fall wurde also auf der linken Nachbarspur ein herannahendes Fahrzeug ermittelt, so dass durch die optische Warneinrichtung 23, welche wie gesagt beispielsweise im linken Außenspiegel des Kraftwagens 10 angeordnet ist, eine optische Warnmeldung ausgegeben wird. Im in 6 gezeigten Fall wird davon ausgegangen, dass der Fahrer 18 diese Warnmeldung nicht erkennt, da unter Berücksichtigung des Verlassensvektors 26 davon ausgegangen wird, dass der Fahrer 18 seinen Blick nach rechts, und somit von dem linken Außenspiegel abgewendet hat. In einem derartigen Fall wird eine akustische und/oder haptische Warnmeldung ausgegeben, um den Fahrer 18 über das auf der linken Nachbarspur herannahende Fahrzeug zu informieren beziehungsweise ihn vor einem Spurwechsel zu warnen. Die akustische Warnmeldung kann beispielsweise über einen entsprechenden Lautsprecher des Kraftwagens ausgegeben werden, wobei eine haptische Warnmeldung beispielsweise durch ein Lenkradrütteln oder dergleichen auch noch ausgegeben werden kann.
Sollte hingegen der Fahrer 18 seine Augen 20 nicht wie in 6 nach rechts sondern nach links über den vorgegebenen Winkelbereich β hinaus verschwenkt haben, so würde der Verlassensvektor 26 genau in die entgegengesetzte Richtung, im vorliegenden Fall also nach links, zeigen und somit auch davon ausgegangen werden, dass der Fahrer 18 seinen Blick nach links und nicht mehr nach rechts gerichtet hat. In diesem Fall würde davon ausgegangen werden, dass der Fahrer 18 seinen Blick auf die optische Warneinrichtung 23 gerichtet hat. Die zuvor beschriebene zusätzliche akustische und/oder haptische Ausgabe einer Warnmeldung entfällt dann, da davon ausgegangen werden kann, dass der Fahrer die optische Warnmeldung im linken Außenspiegel wahrnimmt.
Neben dem als Spurwechselassistent ausgebildeten Assistenzsystem 14 können in dem Kraftwagen 10 noch weitere Assistenzsysteme und insbesondere Fahrerassistenzsysteme vorgesehen sein, welche die Längsführung und/oder die Querführung des Kraftwagens 10 überwachen und/oder beeinflussen, wobei diese ebenfalls unter Berücksichtigung des ermittelten Verlassensvektors 26 betrieben werden können.
Die Häufigkeit pro Zeiteinheit, mittels welcher die jeweiligen Augenausrichtungen erfasst werden, wird unter Berücksichtigung der jeweiligen Augenbewegungen des Fahrers 18 verändert. Handelt es sich bei dem Fahrer 18 beispielsweise um einen derartigen Fahrer, welcher sehr häufig und sehr schnell seine Blickrichtung verändert, wird die Häufigkeit pro Zeiteinheit, mittels welcher die jeweiligen Augenausrichtungen erfasst werden, entsprechend erhöht und umgekehrt.
Die Winkelbereiche α und β können zudem unter Berücksichtigung von zumindest einem Parameter, welcher die Genauigkeit der Blickrichtungsermittlung durch die Blickerfassungseinrichtung 16 beeinflusst, verändert werden. Beispielsweise können die Winkelbereiche α und β unter Berücksichtigung der Eigenschaften des Fahrers 18 und/oder der Blickerfassungseinrichtung 16 verändert werden. Dabei können beispielsweise Eigenschaften der Augen 20 des Fahrers 18 berücksichtigt werden, wie zum Beispiel die Reflektionseigenschaften der Retina, die Fokussierungsfähigkeit durch die Augen 20, eventuelle Sehhilfen und dergleichen. Des Weiteren können auch Eigenschaften der Blickerfassungseinrichtung 16 berücksichtigt werden, wie beispielsweise die Lichtintensität, mittels welcher die Augen 20 des Fahrers 18 mit Infrarotlicht beleuchtet werden, die Positionierung der entsprechenden Lichtquelle und dergleichen.
Durch das erläuterte Verfahren und die erläuterte Vorrichtung 10 ist es also über den entsprechenden Verlassensvektor 26 möglich, eine voraussichtliche Blickrichtung des Fahrers 18 auch dann abzuschätzen, falls der Fahrer 18 durch eine entsprechende Verschwenkung seiner Augen 20 einen vorgegebenen Winkelbereich α, β verlassen hat, in welchem eine Blickrichtung des Fahrers 18 mit einer vorgegebenen Genauigkeit anhand der optisch erfassten Augenausrichtung ermittelt werden kann. So kann auch ohne zusätzliche Kameras mit einer relativ hohen Verlässlichkeit bestimmt werden, in welche Richtung der Fahrer 18 gerade schaut.

Claims

Verfahren zum Betreiben wenigstens eines Assistenzsystems (14) eines Kraftwagens (10), mit den Schritten: – Erfassen jeweiliger Augenausrichtungen eines Fahrers (18) des Kraftwagens mittels einer Blickerfassungseinrichtung (16) für eine Mehrzahl aufeinander folgender Zeitpunkte; – Ermitteln, ob die jeweils erfassten Augenausrichtungen innerhalb zumindest eines vorgegebenen Winkelbereichs (α, β) liegen; – Solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb des vorgegebenen Winkelbereichs (α, β) liegen: – Ermitteln jeweiliger Blickrichtungen (24) des Fahrers (18) anhand der jeweils erfassten Augenausrichtungen; – Speichern der ermittelten Blickrichtungen (24); – Betreiben des Assistenzsystems (14) unter Berücksichtigung der jeweils ermittelten Blickrichtungen (24); – Sobald ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs (α, β) liegt: – Ermitteln eines Verlassensvektors (26) unter Berücksichtigung der zuvor gespeicherten Blickrichtungen (24), wobei der Verlassensvektor (26) die Richtung (36) charakterisiert, in welche die Augen (20) des Fahrers (18) beim Verlassen des vorgegebenen Winkelbereichs (α, β) verschwenkt worden sind; – Betreiben des Assistenzsystems (14) unter Berücksichtigung des ermittelten Verlassensvektors (26).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass unter Berücksichtigung des Verlassensvektors (26) eine voraussichtliche Blickrichtung des Fahrers (18) ermittelt und beim Betreiben des Assistenzsystems (14) berücksichtigt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass anhand des Verlassensvektors (26) ermittelt wird, ob der Fahrer (18) seinen Blick auf eine optische Warneinrichtung (23) des Assistenzsystems (14) gerichtet hat, mittels welcher ein optisches Warnsignal ausgegeben wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass eine akustische und/oder haptische Warnmeldung ausgegeben wird, falls anhand des Verlassensvektors (26) ermittelt worden ist, dass der Fahrer seinen Blick von einer optischen Warneinrichtung (23) abgewendet hat.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eines oder mehre Assistenzsysteme (14), welche die Längsführung und/oder die Querführung des Kraftwagens überwachen und/oder beeinflussen, unter Berücksichtigung des ermittelten Verlassensvektors (26) betrieben werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Häufigkeit pro Zeiteinheit, mittels welcher die jeweiligen Augenausrichtungen erfasst werden, unter Berücksichtigung der Augenbewegungen der Fahrers (18) verändert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Winkelbereich (α, β) unter Berücksichtigung von zumindest einem Parameter, welcher die Genauigkeit der Blickrichtungsermittlung beeinflusst, verändert wird.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der Winkelbereich (α, β) unter Berücksichtigung der Eigenschaften des Fahrers (18) und/oder der Blickerfassungseinrichtung (16) verändert wird.
Vorrichtung (12) zum Betreiben wenigstens eines Assistenzsystems (14) eines Kraftwagens (10), mit: – einer Blickerfassungseinrichtung (16), welche dazu ausgelegt ist, jeweilige Augenausrichtungen eines Fahrers (18) des Kraftwagens (10) für eine Mehrzahl aufeinander folgender Zeitpunkte zu erfassen und zu ermitteln, ob die jeweils erfassten Augenausrichtungen innerhalb zumindest eines vorgegebenen Winkelbereichs (α, β) liegen; – einer Datenverarbeitungseinrichtung (22), welche dazu ausgelegt ist, – jeweilige Blickrichtungen (24) des Fahrers (18) anhand der jeweils erfassten Augenausrichtungen zu ermitteln und zu speichern, solange ermittelt wird, dass die erfassten Augenausrichtungen innerhalb des vorgegebenen Winkelbereichs (α, β) liegen; – einen Verlassensvektor (26) unter Berücksichtigung der zuvor gespeicherten Blickrichtungen (24) zu ermitteln, wobei der Verlassensvektor (26) die Richtung (36) charakterisiert, in welche die Augen (20) des Fahrers (18) beim Verlassen des vorgegebenen Winkelbereichs (α, β) verschwenkt worden sind, sobald ermittelt wird, dass eine der erfassten Augenausrichtungen außerhalb des vorgegebenen Winkelbereichs (α, β) liegt; – einer Steuereinrichtung (28), welche dazu ausgelegt ist, das Assistenzsystem (14) unter Berücksichtigung der jeweils ermittelten Blickrichtungen (24) und unter Berücksichtigung des ermittelten Verlassensvektors (26) zu betreiben.