DE102017214513A1

DE102017214513A1 - Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug und Assistenzsystem

Info

Publication number: DE102017214513A1
Application number: DE102017214513.7A
Authority: DE
Inventors: Moritz Blume; Florian Bade; Martin Buchner; Julia Niemann; Michael Wolfram; Joris Wolters; Carsten Isert
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2017-08-21
Filing date: 2017-08-21
Publication date: 2019-02-21

Abstract

Es wird ein Verfahren zum Betreiben eines Assistenzsystems (10) für ein Fahrzeug angegeben. Das Assistenzsystem umfasst eine Sensoreinrichtung zur Ermittlung eines Richtungskennwerts, der repräsentativ ist für eine Blickrichtung (2) eines Fahrers des Fahrzeugs, sowie zur Ermittlung eines Positionskennwerts, der repräsentativ ist für eine Kopfposition (3) des Fahrers. Bei dem Verfahren wird ein Referenzkennwert bereitgestellt, der repräsentativ ist für Koordinaten eines bezüglich des Fahrzeugs vorgegeben angeordneten Punkts (4a, 4b) im dreidimensionalen Raum; wenigstens ein initialer Richtungs- und Positionskennwert ermittelt; abhängig von dem wenigstens einen initialen Positionskennwert und dem Referenzkennwert jeweils ein Kalibrierungskennwert ermittelt, der repräsentativ ist für einen Vektor, der die Kopfposition (3) mit dem Punkt (4a, 4b) verbindet; abhängig von dem wenigstens einen initialen Richtungskennwert und dem jeweiligen Kalibrierungskennwert ein Transformationskennwert ermittelt, der repräsentativ ist für eine geometrische Transformation zwischen dem wenigstens einen initialen Richtungskennwert und dem jeweiligen Kalibrierungskennwert; und abhängig von dem Transformationskennwert nachfolgend ermittelte Richtungs- und Positionskennwerte korrigiert. Weiterhin wird ein korrespondierendes Assistenzsystem (10) angegeben.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug sowie ein korrespondierendes Assistenzsystem, Computerprogramm und Computerprogrammprodukt.
Bei heutigen Blickerfassungsvorrichtungen (engl. „Eyetracking“) handelt es sich beispielsweise um einen Kamerasensor, der eine dreidimensionale Blickrichtung eines Benutzers ausgibt. Zusätzlich kann beispielsweise eine Kopfposition des Benutzers ausgegeben werden.
Auch bei hoher Präzision des Kamerasensors kann ein Vektor, der die Blickrichtung beschreibt, aufgrund der individuellen Augenanatomie (z.B. Lage der Fovea) nicht exakt bestimmt werden. Die Augengeometrie kann vom Kamerasensor nicht erfasst werden. Berücksichtigt man die Augengeometrie nicht, ist die Blickrichtungsmessung also ungenau.
Die Aufgabe, die der Erfindung zugrunde liegt, ist es, ein Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug sowie ein korrespondierendes Assistenzsystem zu schaffen, das nutzerübergreifend eine präzise Blickrichtungserfassung erlaubt.
Die Aufgabe wird gelöst durch die unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.
Gemäß einem ersten Aspekt betrifft die Erfindung ein Verfahren zum Betreiben eines Assistenzsystems für ein Fahrzeug. Das Assistenzsystem umfasst eine Sensoreinrichtung zur Ermittlung eines Richtungskennwerts, der repräsentativ ist für eine Blickrichtung eines Fahrers des Fahrzeugs, sowie zur Ermittlung eines Positionskennwerts, der repräsentativ ist für eine Kopfposition des Fahrers.
Bei dem Verfahren wird ein Referenzkennwert bereitgestellt, der repräsentativ ist für Koordinaten eines bezüglich des Fahrzeugs vorgegeben angeordneten Punkts im dreidimensionalen Raum; anschließend wird wenigstens ein initialer Richtungs- und Positionskennwert ermittelt; abhängig von dem wenigstens einen initialen Positionskennwert und dem Referenzkennwert wird jeweils ein Kalibrierungskennwert ermittelt, der repräsentativ ist für einen Vektor, der die Kopfposition mit dem Punkt verbindet; abhängig von dem wenigstens einen initialen Richtungskennwert und dem jeweiligen Kalibrierungskennwert wird ein Transformationskennwert ermittelt, der repräsentativ ist für eine geometrische Transformation zwischen dem wenigstens einen initialen Richtungskennwert und dem jeweiligen Kalibrierungskennwert; schließlich werden abhängig von dem Transformationskennwert nachfolgend ermittelte Richtungs- und Positionskennwerte korrigiert.
In vorteilhafter Weise ermöglicht dies eine genauere Blickrichtungsmessung als dies ohne Kalibrierung bzw. Anpassung auf die individuelle Augenanatomie des entsprechenden Fahrers möglich ist. Damit können z.B. mit größerer Genauigkeit Aussagen darüber getroffen werden, welche Objekte vom Fahrer fokussiert wurden. Insbesondere kann so eine präzise Blicksteuerung im Fahrzeug gewährleistet werden.
Bei der Sensoreinrichtung kann es sich insbesondere um eine Kamera handeln. Der vorgegeben angeordnete Punkt ist bevorzugt in einem Sichtfeld des Fahrers im Normbetrieb des Fahrzeugs angeordnet, also in einem vorderen Bereich des Fahrzeugs oder vor dem Fahrzeug.
In einer vorteilhaften Ausgestaltung gemäß dem ersten Aspekt wird der Fahrer vor Ermitteln des wenigstens einen initialen Richtungs- und Positionskennwerts vom Fahrzeug aufgefordert, den vorgegeben angeordneten Punkt zu fokussieren.
In einer vorteilhaften Ausgestaltung gemäß dem ersten Aspekt werden die Schritte zur Ermittlung des Transformationskennwerts genau einmal durchgeführt.
In einer alternativen, vorteilhaften Ausgestaltung gemäß dem ersten Aspekt werden die Schritte zur Ermittlung des Transformationskennwerts mehrmals durchgeführt. Insbesondere werden in diesem Zusammenhang der Richtungs- und Positionskennwert sowie der Kalibrierungskennwert wiederholt ermittelt. Beispielhaft kann dies wiederholt abhängig von demselben, bezüglich des Fahrzeugs vorgegeben angeordneten Punkts erfolgen; alternativ kann auch auf verschiedene bzw. an unterschiedlichen Koordinaten angeordnete Punkte zurückgegeriffen werden. Der Transformationskennwert zur Korrektur nachfolgender Richtungs- und Positionskennwerte wird dann abhängig den einzelnen Richtungskennwerten und zugehörigen Kalibrierungskennwerten ermittelt. In vorteilhafter Weise erhöht dies die Genauigkeit der geometrischen Transformation.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem ersten Aspekt umfasst das Assistenzsystem eine Projektionsvorrichtung, die eingerichtet ist, den bezüglich des Fahrzeugs vorgegeben angeordneten Punkt anzustrahlen. Alternativ oder zusätzlich umfasst das Assistenzsystem einen Bewegungsmechanismus sowie einen Marker, wobei der Bewegungsmechanismus eingerichtet ist, den Marker aus einer Neutralposition an den bezüglich des Fahrzeugs vorgegeben angeordneten Punkt und zurück zu bewegen. Bei dem Verfahren wird vor Ermitteln des wenigstens einen initialen Richtungs- und Positionskennwerts die Projektionsvorrichtung bzw. der Bewegungsmechanismus derart angesteuert, dass der vorgegeben angeordnete Punkt angestrahlt wird bzw. der Marker an den vorgegeben angeordneten Punkt bewegt wird.
Gemäß einem zweiten Aspekt betrifft die Erfindung ein Assistenzsystem für ein Fahrzeug. Das Assistenzsystem umfasst eine Sensoreinrichtung zur Ermittlung eines Richtungskennwerts, der repräsentativ ist für eine Blickrichtung eines Fahrers des Fahrzeugs, sowie zur Ermittlung eines Positionskennwerts, der repräsentativ ist für eine Kopfposition des Fahrers. Weiterhin umfasst das Assistenzsystem eine Steuereinheit, die eingerichtet ist das Verfahren gemäß dem ersten Aspekt durchzuführen.
In einer vorteilhaften Ausgestaltung gemäß dem zweiten Aspekt umfasst das Assistenzsystem eine Projektionsvorrichtung, die eingerichtet ist, einen bezüglich des Fahrzeugs vorgegeben angeordneten Punkt im dreidimensionalen Raum anzustrahlen.
In vorteilhafter Weise ermöglicht dies ein einfaches und präzises Kenntlichmachen des durch den Fahrer zu fokussierenden vorgegebenen Punktes. In diesem Zusammenhang wird die Erkenntnis genutzt, dass eine Genauigkeit des Kalibrierungskennwerts mit der Entfernung des zu fokussierenden Punktes steigt. Durch Projektion kann eine hohe Entfernung des vorgegeben angeordneten Punktes gewählt und somit zu einer äußerst präzisen Kalibrierung der Blickerfassungsvorrichtung beigetragen werden.
Bei der Projektionsvorrichtung kann es sich beispielsweise um einen Laser handeln. Die Projektionsvorrichtung kann insbesondere eingerichtet sein, eine ebene Fläche vor dem Fahrzeug anzustrahlen, beispielhaft die Fahrbahn.
In einer weiteren vorteilhaften Ausgestaltung gemäß dem zweiten Aspekt umfasst das Assistenzsystem einen Bewegungsmechanismus sowie einen Marker, wobei der Bewegungsmechanismus eingerichtet ist, den Marker aus einer Neutralposition an den bezüglich des Fahrzeugs vorgegeben angeordneten Punkt und zurück in die Neutralposition zu bewegen.
In vorteilhafter Weise ermöglicht dies ein einfaches und präzises Kenntlichmachen des durch den Fahrer zu fokussierenden Punktes. Der Marker kann beispielsweise im Inneren, insbesondere aber außerhalb des Fahrzeugs angeordnet sein. Mit Vorteil ist der Marker im Frontbereich des Fahrzeugs angeordnet, beispielhaft auf der Motorhaube. Bei dem Marker handelt es sich insbesondere um ein optisch hervorstechendes Zeichen. Beispielhaft kann hierzu ein Firmenlogo des Fahrzeugherstellers in Betracht kommen, welches oftmals im Frontbereich der Motorhaube angeordnet ist. In diesem Zusammenhang wird die Erkenntnis genutzt, dass eine Genauigkeit des Kalibrierungskennwerts mit der Entfernung des zu fokussierenden Punktes steigt. Durch Einsatz des beweglichen Markers im Frontbereich des Fahrzeugs kann eine höhere Entfernung des vorgegebenen Punktes als durch bloße Anzeige auf einem Bildschirm im Fahrzeug gewählt und somit zu einer äußerst präzisen Kalibrierung der Blickerfassungsvorrichtung beigetragen werden.
Bei dem Bewegungsmechanismus kann es sich beispielsweise um einen Klappmechanismus handeln, welcher den Marker in das Blickfeld des Fahrers schwenkt.
Gemäß einem dritten Aspekt betrifft die Erfindung ein Computerprogramm zum Betreiben eines Assistenzsystems. Das Computerprogramm ist ausgebildet, ein Verfahren gemäß dem ersten Aspekt bei seiner Ausführung auf einer Datenverarbeitungsvorrichtung durchzuführen.
Gemäß einem vierten Aspekt betrifft die Erfindung ein Computerprogrammprodukt umfassend ausführbaren Programmcode. Der Programmcode führt bei Ausführung durch eine Datenverarbeitungsvorrichtung das Verfahren gemäß dem ersten Aspekt aus.
Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert.
Es zeigen:

1 ein Fahrzeug mit dem erfindungsgemäßen Assistenzsystem; und
2 ein beispielhaftes Ablaufdiagramm eines Verfahrens zum Betreiben des Assistenzsystems gemäß 1.

1 zeigt ein Fahrzeug mit einem Assistenzsystem 10, welches eingerichtet ist, eine Blickrichtung des Fahrers zu detektieren und abhängig davon weitere Schritte einzuleiten. Beispielhaft kann die ermittelte Blickrichtung genutzt werden, um die Aufmerksamkeit des Fahrers zu überwachen und ggf. Warnungen auszusprechen. Alternativ oder zusätzlich kann die ermittelte Blickrichtung genutzt werden, um gezielt Zusatzfunktionen des Fahrzeugs zu aktivieren.
Das Assistenzsystem 10 umfasst eine Sensoreinheit (nicht näher dargestellt) mit einer Kamera, die dem Fahrer zugewandt angeordnet und eingerichtet ist, eine Blickrichtung 2 und Kopfposition 3 des Fahrers zu erfassen, beispielhaft anhand der Augen- und/oder Pupillenposition. Die Sensoreinheit kann darüber hinaus eine optionale Beleuchtungseinrichtung umfassen. Die Sensoreinheit kann auch als Blickerfassungsvorrichtung (engl. „Eyetrackingsystem“, ETS) bezeichnet werden.
Das Assistenzsystem 10 umfasst des Weiteren eine Steuereinheit (nicht näher dargestellt), eine Projektionsvorrichtung 13 und/oder einen Marker 14.
Bei der Projektionsvorrichtung 13 handelt es sich vorliegend um einen Laser, der eingerichtet ist, einen Punkt 4a auf der Fahrbahn in einer vorgegebenen Entfernung zum Fahrzeug anzustrahlen (gestrichelt-gepunktete Linie in 1). Alternativ oder zusätzlich kann das Fahrzeug den Marker 14 aufweisen, der beispielsweise ausklapp- oder ausfahrbar auf der Motorhaube an einem Punkt 4b in vorgegebenen Abstand zum Fahrer anordenbar ist.
Die Steuereinheit kann insbesondere einen Daten- und Programmspeicher aufweisen, in dem ein Programm zum Betreiben des Assistenzsystems 10 gespeichert ist, welches anhand des Ablaufdiagramms der 2 nachfolgend näher erläutert ist.
Das Programm wird in einem Schritt S1 gestartet, in dem beispielsweise Variablen initialisiert werden. In vorliegender Ausführungsvariante wird das Programm in einem Schritt S3 fortgesetzt. In alternativen Ausführungsvarianten kann das Programm auch in einem Schritt S5 oder S7 fortgesetzt werden.
In dem Schritt S3 wird die Projektionsvorrichtung 13 oder ein dem Marker 14 zugeordneter Bewegungsmechanismus angesteuert, den vorgegebenen Punkt 4a bzw. 4b für den Fahrer erkenntlich hervorzuheben, also ein strahlungsemittierender Betrieb der Projektionsvorrichtung 13 aktiviert oder der Marker 14 ausgeklappt oder ausgefahren. Das Programm wird in vorliegender Ausführungsvariante in dem Schritt S5 fortgesetzt, in anderen Ausführungsvarianten kann das Programm auch in dem Schritt S7 fortgesetzt werden.
In dem Schritt S5 wird der Fahrer aufgefordert, den hervorgehobenen Punkt 4a, 4b zu fokussieren, beispielhaft durch entsprechendes Audiosignal und/oder visuelle Darstellung. Das Programm wird anschließend in dem Schritt S7 fortgesetzt.
In dem Schritt S7 werden Koordinaten des projizierten Punkts 4a bzw. des ausgeklappten oder ausgefahrenen Markers 14 am Punkt 4b als Referenzkennwert bereitgestellt. Die relative Position des Punktes 4a, 4b zum Kamerakoordinatensystem bzw. Fahrzeugkoordinatensystem ist also bekannt. In anderen Ausführungsbeispielen kann der Punkt auch im Fahrzeuginneren liegen.
Darüber hinaus werden ein initialer Richtungskennwert Ri sowie ein initialer Positionskennwert P_i ermittelt. Der Richtungskennwert Ri ist dabei repräsentativ für die Blickrichtung 2 des Fahrers. Der Positionskennwert Pi ist repräsentativ für die Kopfposition 3 des Fahrers. Weiterhin wird in dem Schritt S7 ein Kalibrierungskennwert Ki ermittelt, welcher repräsentativ ist für einen Vektor, der die Kopfposition 3 mit dem Punkt 4a, 4b verbindet.
Ein Blickstrahl des Fahrers, der den Punkt 4a, 4b fokussiert, kann durch einen dreidimensionalen Aufvektor, beispielsweise die Position eines Zyklopauges in einem Koordinatensystem, z.B. dem Fahrzeugkoordinatensystem, und einen dreidimensionalen Richtungsvektor beschrieben werden. Die Sensoreinheit kann die gemessene Blickrichtung 2 des Fahrers ebenfalls in Form eines gemessenen dreidimensionalen Aufvektors als Positionskennwert Pi und eines gemessenen dreidimensionalen Richtungsvektors als Richtungskennwert Ri bereitstellen.
Mittels der Position des Zyklopauges (gemessener Aufvektor) und der tatsächlichen Position (Koordinaten des Punkts 4a, 4b) lässt sich der Kalibrierungskennwert Ki bestimmen.
Das Programm wird anschließend in einem Schritt S9 fortgesetzt.
In dem Schritt S9 wird eine geometrische Transformation als Transformationskennwert T zwischen dem Richtungskennwert Ri, also einem gemessenen Blickvektor, und dem Kalibrierungskennwert Ki, ermittelt.
Bei der Transformation handelt es sich insbesondere um eine rigide Transformation, die z.B. durch eine homogene 4 x 4 Transformationsmatrix als Transformationskennwert T beschrieben werden kann. Die Transformationsmatrix beschreibt die Transformation zwischen dem Kalibrierungskennwert Ki und dem gemessenen Blickrichtungsvektor repräsentiert durch den Richtungskennwert Ri.
In dieser Ausführungsvariante wird der Schritt S7 zunächst solange wiederholt, bis eine vorgegebene Anzahl N an Messungen durchgeführt wurde. Im Falle, dass die vorgegebene Anzahl N an Messungen erreicht wurde, wird abhängig von den ermittelten Richtungskennwerten R₁ ...R_N und den ermittelten Kalibrierungskennwerten K₁ ...K_N eine Transformation ermittelt, die eine Abweichung zwischen den gemessenen Richtungskennwerten R₁ ...R_N den Kalibrierungskennwerten K₁ ...K_N minimiert. In anderen Ausführungsvarianten kann auch lediglich eine Messung durchgeführt werden, ohne das Programm in dem Schritt S7 zu wiederholen (N=1).
Der Transformationskennwert T kann anschließend für den entsprechenden Fahrer gespeichert und das Programm beendet werden. Alternativ kann das Programm anschließend auch in einem Schritt S11 fortgesetzt werden.
In dem Schritt S11 wird der Transformationskennwert T für den entsprechenden Fahrer bereitgestellt. Ferner wird ein neuer Richtungskennwert R_neu und Positionskennwert P_neu ermittelt. Abhängig von dem Transformationskennwert T und dem neuen Richtungskennwert R_neu und Positionskennwert P_neu wird daraufhin ein korrigierter Richtungskennwert R_korrigiert ermittelt. Der korrigierte Richtungskennwert R_korrigiert ist insbesondere repräsentativ für eine um die unbekannte, individuelle Augengeometrie des Fahrers kompensierte Blickrichtung des Fahrers.
In anderen Worten kann für alle zukünftigen Messungen, die die Sensoreinheit bereitstellt, der gemessene Richtungskennwert R_i mit dem Transformationskennwert T korrigiert werden. Im Falle einer homogenen 4 × 4 Transformationsmatrix entspräche das einer Matrix-Vektor-Multiplikation des Transformationskennwerts T mit einem homogenen Vektor, dem Richtungskennwert Ri.
Das Programm kann darauffolgend in einem Schritt S13 fortgesetzt werden, in dem abhängig von dem korrigierten Richtungskennwert R_korrigiert ein Steuersignal zur Bedienung weiterer Funktionen des Fahrzeugs ermittelt wird. Das Programm wird im Anschluss beendet.
Bezugszeichenliste

2: Blickrichtung
3: Kopfposition
4a, 4b: vorgegebener Punkt
10: Assistenzsystem
13: Projektionsvorrichtung
14: Marker
15: Projektion
S1...S13: Programmschritte

Claims

Verfahren zum Betreiben eines Assistenzsystems (10) für ein Fahrzeug, umfassend eine Sensoreinrichtung zur Ermittlung eines Richtungskennwerts, der repräsentativ ist für eine Blickrichtung (2) eines Fahrers des Fahrzeugs, sowie zur Ermittlung eines Positionskennwerts, der repräsentativ ist für eine Kopfposition (3) des Fahrers, wobei bei dem Verfahren - ein Referenzkennwert bereitgestellt wird, der repräsentativ ist für Koordinaten eines bezüglich des Fahrzeugs vorgegeben angeordneten Punkts (4a, 4b) im dreidimensionalen Raum, - wenigstens ein initialer Richtungs- und Positionskennwert ermittelt wird, - abhängig von dem wenigstens einen initialen Positionskennwert und dem Referenzkennwert jeweils ein Kalibrierungskennwert ermittelt wird, der repräsentativ ist für einen Vektor, der die Kopfposition (3) mit dem Punkt (4a, 4b) verbindet, - abhängig von dem wenigstens einen initialen Richtungskennwert und dem jeweiligen Kalibrierungskennwert ein Transformationskennwert ermittelt wird, der repräsentativ ist für eine geometrische Transformation zwischen dem wenigstens einen initialen Richtungskennwert und dem jeweiligen Kalibrierungskennwert, und - abhängig von dem Transformationskennwert nachfolgend ermittelte Richtungs- und Positionskennwerte korrigiert werden.
Verfahren nach Anspruch 1, bei dem der Fahrer vor Ermitteln des wenigstens einen initialen Richtungs- und Positionskennwerts vom Fahrzeug aufgefordert wird, den vorgegeben angeordneten Punkt zu fokussieren.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Assistenzsystem eine Projektionsvorrichtung (13) umfasst, und bei dem Verfahren vor Ermitteln des wenigstens einen initialen Richtungs- und Positionskennwerts die Projektionsvorrichtung angesteuert wird, den vorgegeben angeordneten Punkt anzustrahlen.
Verfahren nach einem der vorstehenden Ansprüche, wobei das Assistenzsystem einen Bewegungsmechanismus sowie einen Marker umfasst, wobei der Bewegungsmechanismus eingerichtet ist, den Marker aus einer Neutralposition an den vorgegeben angeordneten Punkt und zurück zu bewegen, und bei dem Verfahren vor Ermitteln des wenigstens einen initialen Richtungs- und Positionskennwerts der Bewegungsmechanismus derart angesteuert wird, dass der Marker an den vorgegeben angeordneten Punkt bewegt wird.
Assistenzsystem (10) für ein Fahrzeug, umfassend - eine Sensoreinrichtung zur Ermittlung eines Richtungskennwerts, der repräsentativ ist für eine Blickrichtung (2) eines Fahrers des Fahrzeugs, sowie zur Ermittlung eines Positionskennwerts, der repräsentativ ist für eine Kopfposition (3) des Fahrers, und - eine Steuereinheit, die eingerichtet ist das Verfahren nach einem der Ansprüche 1 bis 4 durchzuführen.
Assistenzsystem (10) nach Anspruch 5, umfassend eine Projektionsvorrichtung (13), die eingerichtet ist, einen bezüglich des Fahrzeugs vorgegeben angeordneten Punkt im dreidimensionalen Raum anzustrahlen.
Assistenzsystem (10) nach Anspruch 5 oder 6, umfassend einen Bewegungsmechanismus sowie einen Marker (14), wobei der Bewegungsmechanismus eingerichtet ist, den Marker aus einer Neutralposition an den bezüglich des Fahrzeugs vorgegeben angeordneten Punkt und zurück zu bewegen.
Computerprogramm zum Betreiben eines Assistenzsystems (10), wobei das Computerprogramm ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 4 bei seiner Ausführung auf einer Datenverarbeitungsvorrichtung durchzuführen.
Computerprogrammprodukt umfassend ausführbaren Programmcode, wobei der Programmcode bei Ausführung durch eine Datenverarbeitungsvorrichtung das Verfahren nach einem der Ansprüche 1 bis 4 ausführt.