-
Die Erfindung geht aus von einem Verfahren zum Erfassen einer Blickrichtung eines Fahrers in einem Kraftfahrzeug und Zuordnen der erfassten Blickrichtung zu einem vorbestimmten Objekt sowie von einer Blickrichtungserfassungseinrichtung für ein Kraftfahrzeug.
-
Aus dem Stand der Technik sind Kraftfahrzeuge mit Blickrichtungserfassungseinrichtungen, wie Eye-Tracking-Systemen, für verschiedene Anwendungen bekannt. Solche Systeme können beispielsweise die Kopfposition und die Augenposition eines Benutzers erfassen, sowie auch die Blickrichtung des Benutzers, und durch Zuordnung der Augenposition zu einer Position in einem fahrzeugfesten Koordinatensystem und anhand der ermittelten Blickrichtung bestimmen, auf welche Komponente, wie z. B. das Mitteldisplay, des Fahrzeugs der Benutzer gerade seinen Blick richtet. Dabei kann vorteilhafterweise die Tatsache ausgenutzt werden, dass vom Benutzer aus in eine bestimmte Richtung nur eine Komponente bzw. nur ein bestimmter Bereich einer Komponente angeordnet ist und nicht mehrere unterschiedliche Komponenten in einer Richtung in unterschiedlicher Tiefe hintereinander, so dass es ausreichend ist, durch das Eye-Tracking-System nur die Richtung eines erfassten Blicks zu bestimmen und daraus abzuleiten, auf welchen Bereich ein Blick gerichtet ist, da die Position der fahrzeugfesten Komponenten im fahrzeugfesten Koordinatensystem bekannt ist.
-
Nun gibt es jedoch auch die Möglichkeit, Head-Up-Displays im Fahrzeug zu nutzen, die ein anzuzeigendes Bild auf die Windschutzscheibe projizieren, das der Benutzer als virtuelles Bild wahrnimmt. Da hier also das durch das Head-Up-Display angezeigte virtuelle Bild dem realen durch die Windschutzscheibe wahrnehmbaren Umgebungsbild überlagert ist, ist es mit herkömmlichen Eye-Tracking-Systemen nicht möglich, allein durch die Bestimmung der Blickrichtung eines Benutzers unterscheiden zu können, ob der Benutzer gerade auf ein durch das Head-Up-Display angezeigtes virtuelles Bild blickt oder auf die Straße.
-
Weiterhin sind aus dem Stand der Technik Systeme bekannt, die einen Fokus eines Benutzers bestimmen können. Insbesondere kann dies dadurch erfolgen, dass für jedes Auge einzeln die Blickrichtung bestimmt wird und der Schnittpunkt der ermittelten Blickrichtungsvektoren den Fokus liefert. Solche Systeme sind beispielsweise in der
DE 195 37 499 A1 und der
US 2013/0300653 A1 beschrieben. Solche Bestimmungseinrichtungen werden dabei jedoch in Kombination mit augennahen Projektionseinrichtungen, wie z. B. einer AR(Augmented Reality)-Brille und einem 3D-Projektionssystem beschrieben. In diesen Anwendungsfällen ist es zum einen möglich, die Erfassungsmittel, wie Kameras, zum Erfassen der Blickrichtung in Augennähe, z. B. in die Brille integriert, anzuordnen, was somit eine relativ präzise Ermittlung der Blickrichtung des jeweiligen Auges erlaubt, was zum einen durch die Möglichkeit der augennahen Positionierung der Kamera bedingt ist und zum anderen auch dadurch, dass sich bei einer Kopfbewegung die Kamera gleichfalls mitbewegt. Darüber hinaus liegt in solchen Anwendungsfällen der Fokus des Benutzers in einer relativ geringen Entfernung zum Benutzer, so dass eine Entfernungsänderung des Fokus eine relativ große Änderung der beiden Blickrichtungsvektoren der beiden Augen zueinander zur Folge hat. Dies kann leichter und mit größerer Genauigkeit erfasst werden als nur kleine Änderungen, was somit ebenfalls relativ präzise Bestimmung des Fokus ermöglicht.
-
In einem Kraftfahrzeug mit Head-Up-Display herrschen jedoch andere Vorraussetzungen, die die Situation erschweren. Zum einen können Erfassungsmittel zum Erfassen der Blickrichtung, wie z. B. Kameras, nicht in direkter Augennähe angeordnet werden. Im Gegensatz zu am Kopf tragbaren Einrichtungen muss im Kraftfahrzeug berücksichtig werden, dass Blickrichtungen auch erfasst werden sollen können, wenn der Benutzer seinen Kopf dreht. Der durch Erfassungsmittel abzudeckende Raumbereich ist somit im Kraftfahrzeug sehr groß. Zudem ist im Fall eines Blicks auf die Straße der Fokus sehr weit vom Benutzer entfernt. Dadurch bedingt lässt sich durch die oben beschriebenen Systeme der Fokus des Benutzers nur sehr unpräzise bestimmen, wenn überhaupt. Folglich ließe sich also die Entfernung des Fokus zum Benutzer entweder nur mit großen Messfehlern bestimmen, oder die Systeme müssten sehr aufwendig und teuer ausgestaltet werden.
-
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren zum Erfassen einer Blickrichtung eines Fahrers in einem Kraftfahrzeug und eine Blickrichtungserfassungseinrichtung für ein Kraftfahrzeug bereitzustellen, welche auf möglichst kostengünstige und wenig aufwendige Weise eine Blickrichtungserfassung und eine Zuordnung der erfassten Blickrichtung zu einem vorbestimmten Objekt erlauben.
-
Diese Aufgabe wird gelöst durch ein Verfahren zum Erfassen einer Blickrichtung eines Fahrers in einem Kraftfahrzeug und eine Blickrichtungserfassungseinrichtung gemäß den unabhängigen Ansprüchen. Vorteilhafte Ausgestaltungen der Erfindung finden sich in den abhängigen Ansprüchen.
-
Bei dem erfindungsgemäßen Verfahren zum Erfassen einer Blickrichtung eines Fahrers in einem Kraftfahrzeug und zum Zuordnen der erfassten Blickrichtung zu einem vorbestimmten Objekt, wie z. B. dem virtuellen Bild eines Head-Up-Displays, mittels einer Blickrichtungserfassungseinrichtung wird in einem Schritt a) eine erste Blickrichtung eines ersten Auges des Fahrers ermittelt und die erste Blickrichtung zu einem ersten vom ersten Auge aus in die erste Blickrichtung weisenden Blickrichtungsvektor zugeordnet. Weiterhin wird in einem Schritt b) eine zweite Blickrichtung eines zweiten Auges des Fahrers ermittelt und die zweite Blickrichtung zu einem zweiten vom zweiten Auge aus in die zweite Blickrichtung weisenden Blickrichtungsvektor zugeordnet. Anschließend wird in einem Schritt c) ein Fokus durch einen Schnittpunkt des ersten Blickrichtungsvektors mit dem zweiten Blickrichtungsvektor ermittelt und in einem Schritt d) zumindest ein Positionswert des Fokus in Bezug auf ein vorbestimmtes Bezugssystem ermittelt. Daraufhin wird in einem Schritt e) überprüft, ob der ermittelte Positionswert in einem vorbestimmten Wertebereich liegt und in einem Schritt f), zumindest falls der ermittelte Positionswert in dem vorbestimmten Wertebereich liegt, der ermittelte Fokus zu dem vorbestimmten Objekt zugeordnet. Das „zumindest” ist hier so zu verstehen, dass optional noch weitere Bedingungen vorgesehen werden können, die erfüllt sein müssen, damit der ermittelte Fokus dem vorbestimmten Objekt zugeordnet wird, wie beispielsweise, dass auch die Blickrichtung des Fahrers in Richtung des vorbestimmten Objekts gerichtet ist, und nicht daran vorbei. Diese weitere Bedingung kann beispielsweise dadurch bereitgestellt sein, dass zusätzlich überprüft wird, ob ein oder zwei weitere Positionswerte des Fokus ebenfalls in einem vorgegebenen Wertebereich, der z. B. zu einer x- und y-Ausdehnung des virtuellen Bildes in Bezug auf ein fahrzeugfestes Koordinatensystem mit einer y-Achse parallel zur Hochachse des Fahrzeugs und einer x-Achse parallel zu einer Querachse des Fahrzeugs korrespondiert.
-
Die Erfindung beruht dabei auf der Erkenntnis, dass es, um festzustellen, ob ein Fahrer auf ein vorbestimmtes Objekt, wie z. B. das virtuelle Bild eines Head-Up-Displays, blickt oder nicht, für fahrzeugrelevante Anwendungen ausreichend ist, ein binäres Entscheidungskriterium anzulegen, d. h. zu überprüfen, ob die ermittelte Fokusposition in einem bestimmen Wertebereich liegt oder nicht, um auch bei großen Messungenauigkeiten genau bestimmen zu können, ob der Blick auf das vorbestimmte Objekt, wie das virtuelle Bild, oder die Straße gerichtet ist. Dabei kann insbesondere die Tatsache ausgenutzt werden, dass sich die tatsächliche Fokusposition des Fahrers bei z. B. auf das virtuelle Bild gerichtetem Blick deutlich von der tatsächlichen Fokusposition bei auf die Straße gerichtetem Blick unterscheidet, insbesondere in Fahrzeuglängsrichtung betrachtet. Auch wenn also die ermittelte Fokusposition von der tatsächlichen Fokusposition abweicht, ist es durch den großen Unterschied in den Fokuspositionen in diese beiden Situationen möglich, den vorbestimmten Wertebereich so groß zu wählen, dass mögliche Messungenauigkeiten berücksichtigt sind, ohne Gefahr laufen zu müssen, eine Fehlzuordnung vorzunehmen. Trotz möglicher Messungenauigkeiten kann mit dem erfindungsgemäßen Verfahrens auf besonders einfache Weise also dennoch genau bestimmt werden, ob der Fahrer auf das virtuelle Bild blickt oder nicht. Dies erlaubt eine besonders kostengünstige und einfache Ausgestaltung der Blickrichtungserfassungseinrichtung, da durch das erfindungsgemäße Verfahren, trotz möglicher Ungenauigkeiten in der Fokusermittlung, eine präzise Zuordnung zu dem vorbestimmten Objekt möglich ist. Das erfindungsgemäße Verfahren ist aufgrund seiner Einfachheit damit deutlich robuster und weniger fehleranfällig, was besonders im Straßenverkehr aufgrund der erhöhten Sicherheit große Vorteile mit sich bringt, und zudem sehr kostengünstig und dennoch zuverlässig.
-
Dabei stellt das vorbestimmte Objekt, wie beschrieben, bevorzugt ein virtuelles Bild eines Head-Up-Displays des Kraftfahrzeugs dar, da gerade in diesem Anwendungsfall vorteilhafterweise die Tatsache genutzt werden kann, dass sich die Fokuspositionen bei auf das virtuelle Bild gerichtetem Blick und auf die Straße gerichtetem Blick deutlich unterscheiden. Mit anderen Worten, sollte dagegen der Fokus auf zwei in der Tiefe betrachtet sehr nahe gelegene Objekte unterschieden werden können, so würde dies eine sehr hohe Messgenauigkeit und damit eine sehr aufwendige und teure Ausgestaltung der Erfassungseinrichtung erfordern. Bei der Anwendung im Zusammenhang mit einem Head-Up-Display ist das jedoch nicht so. Das Head-Up-Display projiziert ein Bild derart an die Windschutzscheibe des Kraftfahrzeugs, dass für den Fahrer ein virtuelles Bild in einem Abstand von ca. 1,5 m bis 2 m in Blickrichtung hinter der Windschutzscheibe entsteht. Der Abstand kann dabei von Fahrzeugtyp zu Fahrzeugtyp variieren, jedoch ist der Abstand des virtuellen Bildes für ein gegebenes Fahrzeug mit einem gegebenen Head-Up-Display bevorzugt konstant und kann der Blickrichtungserfassungseinrichtung z. B. vorgegeben sein, insbesondere als Position des virtuellen Bildes in Bezug auf das fahrzeugfeste Koordinatensystem. Richtet ein Fahrer seinen Blick auf die Straße liegt der tatsächliche Fokus des Fahrers dabei in einem deutlich größeren Abstand zur Windschutzscheibe, durchschnittlich in etwa bei 20 m, und ist damit deutlich weiter entfernt als 2 m. Daher ist es in diesem Anwendungsfall besonders vorteilhaft, ein binäres Entscheidungskriterium bei der Zuordnung des Fokus zum virtuellen Bild des Head-Up-Displays anzulegen, da gar nicht exakt bestimmt werden muss, wo die tatsächliche Fixationsebene des Fahrers liegt, sondern bereits durch Vergleich des ermittelten Fokus, der also nicht genau mit dem tatsächlichen Fokus der Fahrer übereinstimmen muss, z. B. mit einem Grenzwert des vorbestimmten Wertebereichs mit hoher Wahrscheinlichkeit richtig bestimmt werden kann, ob der Fahrer auf das virtuelle Bild blickt oder nicht.
-
Bei einer besonders vorteilhaften Ausgestaltung der Erfindung wird in Schritt c) bei der Ermittlung des Fokus durch den Schnittpunkt der beiden Blickrichtungsvektoren der Fokus ermittelt, indem der Schnittpunkt der senkrechten Projektionen der Blickrichtungsvektoren bzw. ihrer Verlängerungen auf eine selbe Ebene ermittelt wird. Bevorzugt stellt diese selbe Ebene eine horizontale Ebene dar, d. h. eine Ebene senkrecht zur Hochachse des Kraftfahrzeugs. Dies ist besonders vorteilhaft, da es bei einer Ermittlung der Blickrichtungsvektoren im 3D-Raum und insbesondere bereits bei kleinen Ungenauigkeiten in dieser Ermittlung nicht immer dazu kommt, dass sich die Blickrichtungsvektoren auch schneiden, sondern windschief zueinander verlaufen. Durch die Ermittlung des Schnittpunkts durch eine senkrechte Projektion der Blickrichtungsvektoren auf eine selbe Ebene ist auch bei windschief zueinander verlaufenden Blickrichtungsvektoren immer gewährleistet, dass diese oder ihre Verlängerungen sich auch schneiden.
-
Bevorzugt wird der mindestens eine Positionswert des Fokus so ermittelt, dass der Positionswert die Position des Fokus in Bezug auf eine Koordinatenachse des vorbestimmten Bezugssystems, die parallel zur Fahrzeuglängsachse verläuft, angibt. Um zu unterscheiden, ob der Fahrer auf die Straße blick oder auf das virtuelle Bild ist gerade die z-Koordinate des Fokus, also der Ort des Fokus in Richtung der Fahrzeuglängsachse, relevant. Dabei ist es zunächst unerheblich, ob es sich beidem vorbestimmten Bezugssystem um das fahrzeugfeste Koordinatensystem handelt oder z. B. um das Fahrerbezugssystem, also z. B. ein Koordinatensystem das in Bezug auf die Fahrerposition fix ist. Im Übrigen können diese beiden Bezugssysteme einfach ineinander umgerechnet werden, indem die Fahrerposition in Bezug auf das fahrzeugfeste Koordinatensystem der Blickrichtungserfassungseinrichtung vorgegeben wird oder durch diese ermittelt wird. Eine derartige Umrechnung bedeutet für die relevante z-Koordinate lediglich eine Ursprungsverschiebung eines Bezugssystems parallel zur Fahrzeuglängsachse. Der Positionswert des Fokus gibt damit also die oben definierte z-Koordinate des vorbestimmten Bezugssystems an. Dies gilt sowohl, wenn der Positionswert des Fokus in Bezug auf den Fahrer als vorbestimmtes Bezugssystem ermittelt wird als auch wenn der Positionswert des Fokus in Bezug auf das fahrzeugfeste Koordinatensystem als vorbestimmtes Bezugssystem ermittelt wird.
-
Darüber hinaus, wie bereits eingangs erwähnt, kann es zusätzlich noch vorgesehen sein, dass noch ein oder zwei weitere Positionswerte des Fokus, z. B. korrespondierend zu einer x- und y-Koordinate in Bezug auf das vorbestimmte Bezugssystem ermittelt werden. Hierbei sei noch erwähnt, dass sich Messungenauigkeiten bei der Ermittlung der jeweiligen Richtungsvektoren deutlich stärker auf die dadurch bedingte Verschiebung des Schnittpunkts in z-Richtung auswirken als in x- und/oder y-Richtung, weshalb es unproblematisch ist, x- und y-Koordinaten als Positionswerte des Fokus aus dem Schnittpunkt genau zu bestimmen, im Gegensatz zur z-Koordinate. Alternativ oder auch zusätzlich als Verifizierung dieser Ermittlung können die x- und y-Koordinate auch auf herkömmliche Weise ermittelt werden, d. h. über die z. B. für beide Augen gemittelte Richtung des Blicks, insbesondere für eine gegebene z-Koordinate, ohne dabei zwangsläufig einen Fokus bzw. den genannten Schnittpunkt bestimmen zu müssen.
-
Bei einer Ausgestaltung der Erfindung wird als Positionswert in Schritt d) der Abstand des Fokus vom Fahrer ermittelt, insbesondere in z-Richtung. Hierbei stellt dann der Fahrer selbst das vorbestimmte Bezugssystem dar. Liegt dieser Abstand beispielsweise in einem vorbestimmten Wertebereich, z. B. zwischen 0 m und einem oberen Grenzwert, der insbesondere so bemessen ist, dass das vorbestimmte Objekt, also z. B. das virtuelle bild, sich in einem gleichen oder geringeren Abstand zum Fahrer als der obere Grenzwert befindet, so wird der Fokus dem vorbestimmten Objekt zugeordnet. Hierbei ist wieder vorausgesetzt, dass auch die Bedingung erfüllt ist, dass der Fahrer auch in Richtung des vorbestimmten Objekts blickt. Bei der Bemessung des vorbestimmten Bereichs können auch fahrzeugspezifische oder andere bestimmte, vorgegebene Abmessungen eingehen, wie z. B. die Position des vorbestimmten Objekts in Bezug auf das Fahrzeugkoordinatensystem, d. h. das fahrzeugfeste Koordinatensystem, und/oder die Sitzposition und/oder Kopfposition und/oder Augenposition des Fahrers in Bezug auf das Fahrzeugkoordinatensystem. Bei der Bemessung des vorbestimmten Bereichs kann auch fahrzeugunabhängig ein bestimmter oberer Grenzwert betreffend den Abstand zum Fahrer in z-Richtung, beispielsweise in einem Bereich zwischen 3 m und 6 m, vorgegeben werden. Bereits durch eine derartige pauschale Vorgabe kann auf besonders einfache Weise eine hohe Erfolgsquote der richtigen Zuordnung erzielt werden.
-
Bei einer weiteren Ausgestaltung der Erfindung wird der Positionswert in Schritt d) in Bezug auf ein fahrzeugfestes Koordinatensystem ermittelt. Beispielsweise kann dies dadurch erfolgen, dass die Position des Fahrers in Bezug auf das fahrzeugfeste Koordinatensystem ermittelt wird und die ermittelte Fahrerposition bei der Ermittlung des Positionswerts des Fokus in Bezug auf das fahrzeugfeste Koordinatensystem eingeht. Mit anderen Worten, wird z. B. der Abstand des Fokus zum Fahrer bestimmt und die Position des Fahrers in Bezug auf das fahrzeugfeste Koordinatensystem, dann ist auch die Position des Fokus in Bezug auf das fahrzeugfeste Koordinatensystem bestimmt. Da darüber hinaus auch die Position des virtuellen Bildes in Bezug auf das fahrzeugfeste Koordinatensystem vorgegeben sein oder ermittelt werden kann, kann auf diese Weise eine sehr zuverlässige Zuordnung des Fokus zum virtuellen Bild erfolgen, wenn der Positionswert des Fokus im vorbestimmten Wertebereich liegt. Alternativ zur Ermittlung der Fahrerposition kann auch eine Durchschnitts-Position des Fahrers in Bezug auf das fahrzeugfeste Koordinatensystem angenommen und vorgegeben werden, so dass sich darüber der Positionswert des Fokus in Bezug auf das fahrzeugfeste Koordinatensystem ermitteln lässt. Die Fahrerposition, z. B. die Kopfposition des Fahrer oder auch die Augenposition des Fahrers, in Bezug auf das fahrzeugfeste Koordinatensystem lässt sich mittels einer oder mehrerer Kameras jedoch leicht bestimmen, so dass die Ermittlung der Fahrerposition eine sehr einfache und das Verfahren in seiner Genauigkeit verbessernde vorteilhafte Ausgestaltung darstellt.
-
Im Allgemeinen kann also eine Position des Fahrers in Bezug auf das fahrzeugfeste Koordinatensystem ermittelt werden oder die Position des Fahrers als Durchschnitts-Fahrerposition in Bezug auf das fahrzeugfeste Koordinatensystem vorgegeben sein, wobei die Position des Fahrers bei der Ermittlung des Positionswerts des Fokus oder durch den vorbestimmten Wertebereich berücksichtigt wird. Die Berücksichtung der Fahrerposition durch den vorbestimmten Wertebereich kann beispielsweise dergestalt sein, dass der Positionswert des Fokus als Abstand zum Fahrer bestimmt wird. Nun aber nicht die ermittelte Fahrerposition verwendet wird, um die Position des Fokus in Bezug zum fahrzeugfesten Koordinatensystem zu ermitteln, sondern um den vorbestimmten Wertebereich in Abhängigkeit von der Fahrerposition zu errechnen. Oder anders ausgedrückt, es kann die Position des Fokus in Relation zum Fahrer als Bezugssystem ermittelt werden und durch Vorgabe oder Ermittlung der Fahrerposition im Fahrzeugkoordinatensystem die Fokusposition in Fahrzeugkoordinatensystem transformiert werden und mit dem sich auf das Fahrzeugkoordinatensystem beziehenden, vorgegebenen Wertebereich verglichen werden oder es kann die Position des Fokus in Relation zum Fahrer als Bezugssystem ermittelt werden und der sich auf das fahrzeugfeste Koordinatensystem beziehende, vorbestimmte Wertebereich durch Vorgabe oder Ermittlung der Fahrerposition im Fahrzeugkoordinatensystem in das Bezugssystem des Fahrers transformiert werden.
-
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung ist der vorbestimmte Wertebereich so bemessen, dass dieser einen Bereich bis zu einer vorbestimmten Grenze in Fahrtrichtung bzw. z-Richtung hinter der Windschutzscheibe abdeckt, wie z. B. bis ca. 2,5 m–4 m hinter der Windschutzscheibe. Liegt der ermittelte Fokus in diesem Bereich, so kann davon ausgegangen werden, dass der Fahrer auf das virtuelle Bild blickt, vorausgesetzt der Fahrer blickt in die Richtung des virtuellen Bildes. Ein solcher Grenzwert erlaubt, insbesondere in Kombination mit einem oben beschriebenen Head-Up-Display, das ein virtuelles Bild in einem Abstand von 1,5 m bis 2 m vor die Windschutzscheibe projiziert, eine eindeutige Unterscheidung, ob der Fahrer bzw. die Fahrer auf die Straße schaut oder auf das virtuelle Bild des Head-Up-Displays. Selbst wenn also bei der Fokusermittlung Abweichungen vom tatsächlichen Fokus auftreten würden, die im mehrstelligen Zentimeterbereich liegen, kann vorteilhafterweise dennoch eine zuverlässige Zuordnung des Fokus zum virtuellen Bild des Head-Up-Displays gewährleistet werden. Der vorbestimmte Wertebereich kann insbesondere so ausgestaltet sein, dass er in eine Richtung durch, z. B. den oben genannten, Grenzwert begrenzt ist und in die andere Richtung offen. Dies ermöglich eine besonders einfache Ausgestaltung des Verfahrens und ist besonders für den genannten Anwendungsfall geeignet, da lediglich eine Grenze in z-Richtung festgelegt werden muss, anhand welcher unterschieden werden kann, ob der Fahrer auf das virtuelle Bild blickt oder auf die Straße. Eine untere Grenze, die also den vorbestimmten Wertebereich auch in die andere Richtung begrenzt, ist nicht erforderlich, da selten Situationen auftreten, in denen unterschieden werden muss, ob ein Fahrer z. B. direkt auf die Windschutzscheibe blickt oder auf das virtuelle Bild dahinter.
-
Dennoch kann auch noch ein solcher zweiter Grenzwert vorgesehen sein, der den vorbestimmten Bereich entgegen Fahrtrichtung begrenzt. Der zweite Grenzwert kann dabei z. B. bei ca. 1 m bis 1,3 m in Fahrtrichtung hinter der Windschutzscheibe liegen. Dadurch kann beispielsweise auch unterschieden werden, ob der Fahrer gerade nur auf die Windschutzscheibe blickt, oder auf das virtuelle Bild des Head-Up-Displays. Auch um diese Unterscheidung zu ermöglichen, ist keine besonders hohe Messgenauigkeit der Blickrichtungserfassungseinrichtung erforderlich, was wiederum eines besonders zuverlässige und gleichzeitig einfache und kostengünstige Ausgestaltung der Blickrichtungserfassungseinrichtung erlaubt.
-
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung ist der Blickrichtungserfassungseinrichtung eine tatsächliche Entfernung des vorbestimmten Objekts vom Fahrer bereitgestellt, wobei, falls in Schritt f) der ermittelte Fokus dem vorbestimmten Objekt zugeordnet wird, ein Teilbereich des vorbestimmten Objekts als vom Benutzer anvisierter Bereich identifiziert wird, indem die erste Blickrichtung und/oder die zweite Blickrichtung und/oder eine gemittelte Blickrichtung in Bezug auf die tatsächliche Entfernung durch die Blickrichtungserfassungseinrichtung ausgewertet wird. Ist also erstmal festgestellt, dass der Fahrer auf das vorbestimmte Objekt blickt, ist also zur Bestimmung eines anvisierten Teilbereichs des Objekts ebenfalls die Genauigkeit der Fokusermittlung unerheblich. Denn kennt die Blickrichtungserfassungseinrichtung den tatsächlichen Abstand des Fahrers vom virtuellen Bild und es wurde auch festgestellt, dass der Fahrer das virtuelle Bild anvisiert, dann kann zur weiteren Ermittlung des anvisierten Teilbereichs des virtuellen Bildes einfach der tatsächliche Fokusabstand herangezogen werden.
-
Die tatsächliche Entfernung des vorbestimmten Objekts von einer fahrzeugfesten Komponente bzw. die Position des vorbestimmten Objekts in Bezug auf das fahrzeugfeste Koordinatensystem kann beispielsweise in einem Speicher der Blickrichtungserfassungseinrichtung bzw. in einem der Blickrichtungserfassungseinrichtung zugänglichen Speicher abgelegt sein. Wenn es sich bei dem vorbestimmten Objekt z. B. um das virtuelle Bild eines Head-Up-Displays handelt, das das virtuelle Bild immer in einem konstanten Abstand zur Windschutzscheibe in Blickrichtung hinter die Windschutzscheibe projiziert, so kann dieser Projektionsabstand z. B. als fester Wert in der Blickrichtungserfassungseinrichtung abgelegt sein. Um den aktuellen Abstand des Bildes vom Fahrer zu ermitteln, der dann von der Fahrerposition oder Fahrersitzeinstellung abhängen kann, kann die Fahrerposition, insbesondere dessen Kopf- oder Augenposition in Bezug auf das Fahrzeugkoordinatensystem bestimmt werden und daraus dann der Abstand des virtuellen Bildes vom Fahrer. Wenn das Head-Up-Display das virtuelle Bild in unterschiedliche Weiten projiziert werden kann, kann es auch vorgesehen sein, dass die aktuelle Projektionsweite vom Head-Up-Display an die Blickrichtungserfassungseinrichtung übermittelt werden kann. Dann ist so zu jedem Zeitpunkt der aktuelle Abstand des Fahrers vom virtuellen Bild der Blickrichtungserfassungseinrichtung bereitgestellt. In diesem Fall kann auch der vorbestimmte Wertebereich in Abhängigkeit der aktuellen Projektionsweite angepasst werden.
-
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird nach einer Identifizierung eines Bereichs des vorbestimmten Objekts als vom Benutzer anvisierter Bereich, einem diesem Bereich zugeordnete Funktion aktiviert. Somit wird es durch das erfindungsgemäße Verfahren vorteilhafterweise auch ermöglicht auch für das Head-Up-Display eine Bedienkonzeptunterstützung durch Blickrichtungserfassung bereitzustellen.
-
Bei einer vorteilhaften Ausgestaltung wird nach den Schritten a) und/oder b) überprüft, ob die ermittelte erste Blickrichtung und/oder die ermittelte zweite Blickrichtung in einem vorbestimmten Raumwinkelbereich in Bezug auf den Fahrer liegt, und weiterhin die Schritte c), d), e) und f) nur ausgeführt, falls dem so ist. Mit anderen Worten wird hier zunächst überprüft, ob der Fahrer seinen Blick überhaupt in Richtung des virtuellen Bildes richtet, und erst wenn dem so ist, wird Überprüft, ob der Fahrer das virtuelle Bild anvisiert oder die Straße. Die Ermittlung der Fokusposition ist insbesondere nur dann relevant, wenn unterschieden werden muss, ob der Fahrer auf das virtuelle Bild oder die Straße blickt, also eine Tiefeninformation des Blicks und nicht nur die Richtung relevant ist. Ist dem nicht so und blickt der Fahrer beispielsweise auf die Mittelkonsole, oder in anderer Weise am virtuellen Bild vorbei, so kann die Anvisierung der Mittelkonsole oder andere Komponenten in herkömmlicher Weise erfasst werden, ohne dass dabei eine Tiefeninformation, die durch die Ermittlung des Fokus bereitgestellt wird, erforderlich ist. Richtet also der Fahrer seinen Blick nicht in Richtung des virtuellen Bildes, so ist nicht zwingend die Ermittlung der Fokusposition erforderlich um einen erfassten Blick einem anvisierten Objekt zuordnen zu können. Jedoch können auch x- und y-Koordinaten, wie bereits beschreiben, aus dem Schnittpunkt der Blickrichtungsvektoren ermittelt werden, wodurch sich auch feststellen lässt, auf welche anderen Komponenten des Fahrzeugs der Fahrer gerade blickt.
-
Die erfindungsgemäße Blickrichtungserfassungseinrichtung für ein Kraftfahrzeug zum Erfassen einer Blickrichtung eines Fahrers in einem Kraftfahrzeug und zum Zuordnen der erfassten Blickrichtung zu einem vorbestimmten Objekt des Kraftfahrzeugs ist dazu ausgelegt, eine erste Blickrichtung eines ersten Auges des Fahrers zu erfassen und die erste Blickrichtung zu einem ersten vom ersten Auge aus in die erste Blickrichtung weisenden Blickrichtungsvektor zuzuordnen, eine zweite Blickrichtung eines zweiten Auges des Fahrers zu erfassen und die zweite Blickrichtung zu einem zweiten vom zweiten Auge aus in die zweite Blickrichtung weisenden Blickrichtungsvektor zuzuordnen, und einen Fokus durch einen Schnittpunkt des ersten Blickrichtungsvektors mit dem zweiten Blickrichtungsvektor zu ermitteln. Weiterhin ist sie dazu ausgelegt, zumindest einen Positionswert des Fokus in Bezug auf zumindest ein vorbestimmtes Bezugssystem zu ermitteln, zu überprüfen, ob der ermittelte Positionswert in einem vorbestimmten Wertebereich liegt, und zumindest falls der ermittelte Positionswert in dem vorbestimmten Wertebereich liegt, den ermittelten Fokus zu dem vorbestimmten Objekt zuzuordnen.
-
Die für das erfindungsgemäße Verfahren und seine Ausgestaltungen beschriebenen Merkmale, Merkmalskombinationen und deren Vorteile gelten in gleicher Weise auch für die erfindungsgemäße Blickrichtungserfassungseinrichtung. Darüber hinaus kann die erfindungsgemäße Blickrichtungserfassungseinrichtung auch ausgelegt sein, die im Zusammenhang mit den Ausgestaltungen des erfindungsgemäßen Verfahrens genannten weiteren Verfahrensschritte auszuführen. Insbesondere ermöglichen dabei die im Zusammenhang mit dem erfindungsgemäßen Verfahren und seinen Ausgestaltungen genannten Merkmale die Weiterbildung der erfindungsgemäßen Blickrichtungserfassungseinrichtung durch weitere gegenständliche Merkmale.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus den Ansprüchen, der nachfolgenden Beschreibung bevorzugter Ausführungsformen sowie anhand der Zeichnung.
-
Dabei zeigt die einzige Figur eine schematische Darstellung einer Draufsicht auf ein nur zum Teil dargestelltes Kraftfahrzeug zur Veranschaulichung der Ermittlung der Fokusposition FZ eines Fahrers 10 in einem Kraftfahrzeug und der Zuordnung des Fokus F zu einem virtuellen Bild 12 eines Head-Up-Displays gemäß einem Ausführungsbeispiel der Erfindung. Insbesondere ist vom Kraftfahrzeug hierbei nur die Windschutzscheibe 14 und die mit einem Bildaufnahmegerät, insbesondere einer Kamera 16, gekoppelte Blickrichtungserfassungseinrichtung 18 dargestellt. Weiterhin dargestellt ist eine z-Achse eines Koordinatensystem, die parallel zu einer Fahrzeuglängsachse verläuft und insbesondere dem fahrzeugfesten Koordinatensystem zugeordnet ist. Weiterhin ist exemplarisch ein Fahrer 10 und dessen Augen 10a, 10b, und der Bereich des virtuellen Bildes 12 des Head-Up-Displays dargestellt. Um nun festzustellen, ob der Fahrer 10 auf die Straße oder das virtuelle Bild 12 des Head-Up-Displays schaut, wird durch die Blickrichtungserfassungseinrichtung 18 zunächst die Blickrichtung des linken und des rechten Auges 10 und 10b des Fahrers 10 ermittelt und diesen jeweiligen Blickrichtungen ausgehend vom jeweiligen Auge 10a und 10b ein linker sowie ein rechter Blickrichtungsvektor VL bzw. VR zugeordnet. die Blickrichtungen werden dabei mittels einer Kamera 16 erfasst, die z. B. oberhalb der Lenksäule des Kraftfahrzeugs und unterhalb des Kombiinstrument oder auch oberhalb des Kombiinstruments angeordnet sein kann. Durch diese Anordnung wird ein ausreichend großer Erfassungsbereich bereitgestellt, der für die Ermittlung der Blickrichtung und des Fokus F erforderlich ist.
-
Dabei kann zunächst überprüft werden, ob der Blick in Richtung des virtuellen Bildes 12 gerichtet ist, z. B. indem überprüft wird, ob die Blickrichtungsvektoren VL und VR ausgehend vom Fahrer 10 in einen Raumwinkelbereich weisen, der vom virtuellen Bild 12 abgedeckt ist. Wenn dies der Fall ist, wird der Schnittpunkt F zwischen den beiden Blickrichtungsvektoren VL und VR ermittelt, der den Fokus F des Fahrers 10 darstellt. Der Schnittpunkt F wird dabei als Schnittpunkt F der senkrechten Projektionen der Blickrichtungsvektoren VL und VR auf eine selbe Ebene, insbesondere auf eine Ebene senkrecht zur Fahrzeughochachse, die in dieser Darstellung der Zeichnungsebene entspricht, ermittelt. Es kann aber auch zuerst der Fokus F auf beschriebene Weise ermittelt werden, und anhand der aus diesem und der Fahrerposition P bestimmbaren x- und y-Koordinaten überprüft werden, ob der Fahrer F in Richtung des virtuellen Bildes 12 blickt. Im Folgenden soll nun davon ausgegangen werden, dass dies der Fall ist. Aus dem ermittelten Schnittpunkt F kann auch der Abstand A des Fokus F zum Fahrer 10 ermittelt werden, insbesondere die z-Komponente dieses Abstands A. Um den Fokus F in Bezug auf das fahrzeugfeste Koordinatensystem zu ermitteln, kann zunächst die Position P des Fahrers F in Bezug zum fahrzeugfesten Koordinatensystem z. B. durch die Kamera 16 oder auch andere Kameras ermittelt werden. Die z-Komponente der Fahrerposition ist hier mit P bezeichnet. Daraus kann nun die z-Komponente FZ des Fokus F in Bezug auf das fahrzeugfeste Koordinatensystem ermittelt werden. Weiterhin ist nun bekannt, dass die Windschutzscheibe 14 in Bezug auf die z-Achse des Fahrzeugkoordinatensystems an der Stelle W angeordnet ist und das virtuelle Bild 12 an der Stelle V, die, sollte sie nicht exakt vorgegeben sein, als ein Bereich im Abstand von 1,5 m bis 2 m in z-Richtung hinter der Windschutzscheibe 14 angenommen werden kann. Weiterhin ist nun ein vorbestimmter Wertebereich Δ in Bezug auf das fahrzeugfeste Koordinatensystem vorgegeben, der hierbei einen in – z-Richtung offenen Bereich und in z-Richtung durch den Grenzwert G begrenzten Wertebereich darstellt, also Δ = ]–∞; G], wobei G bevorzugt in einem Bereich [V + 0,05 m; V + 5 m] gewählt ist. Je genauer das Messverfahren zur Bestimmung des Fokus F ist, desto näher kann dieser Grenzwert G an der Position V des virtuellen Bildes 12 gewählt werden.
-
Da der Positionswert FZ bereits in Bezug auf das Fahrzeugkoordinatensystem, wie oben beschreiben, ermittelt ist, wird nun verglichen, ob dieser Positionswert FZ innerhalb des vorbestimmten Bereichs Δ liegt. Ist dies der Fall, wie hier dargestellt, wird der Fokus F dem virtuellen Bild 12 zugeordnet, d. h. es ist nun bestimmt, dass der Fahrer 10 das virtuelle Bild 12 anvisiert und nicht die Straße.
-
Nun kann bestimmt werden, welchen Teilbereich des virtuellen Bildes 12 der Fahrer 10 genau anvisiert. Da nun bekannt ist, dass der Fahrer 10 auf das virtuelle Bild schaut, ist auch der tatsächliche Positionswert des Fokus, der dann nämlich bei V liegt, bekannt. Dadurch und durch die aus den Blickrichtungsvektoren VL und VR ermittelte Blickrichtung, bzw. den zusätzlich zur z-Koordinate ermittelbaren x- und y-Koordinaten, kann der Teilbereich des virtuellen Bildes 12, der vom Fahrer 10 anvisiert wird, ermittelt werden. Damit kann auf besonders vorteilhafte Weise durch die Blickrichtungserfassungseinrichtung 18 auch eine Bedienkonzeptunterstützung der Bedienung des Head-Up-Displays bereitgestellt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 19537499 A1 [0004]
- US 2013/0300653 A1 [0004]
