DE102015204281A1

DE102015204281A1 - Verfahren zur Kalibrierung einer Kamera für eine Blickrichtungserkennung in einem Fahrzeug, Vorrichtung für ein Kraftfahrzeug mit einer Kamera und mindestens einem weiteren Element und Computerprogrammprodukt

Info

Publication number: DE102015204281A1
Application number: DE102015204281.2A
Authority: DE
Inventors: Wolfgang Niem
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2015-03-10
Filing date: 2015-03-10
Publication date: 2016-09-15
Also published as: US10068143B2; CN105966311A; US20160267336A1; CN105966311B

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Kalibrierung einer Kamera für eine Blickrichtungserkennung in einem Fahrzeug, eine Vorrichtung für ein Kraftfahrzeug mit einer Kamera und mindestens einem weiteren Element und ein Computerprogrammprodukt. Dabei ist das mindestens eine weitere Element in fester geometrischer Beziehung zu der Kamera angeordnet. Das Verfahren umfasst die Kalibrierung mittels Detektion, in Bildern der Kamera (500), mindestens einer relativen Blickrichtungsänderung, bei der ein Nutzer seinen Blick hin auf das weitere Element (100, 200, 300, 400) ändert. Das Verfahren ist dadurch gekennzeichnet, dass anhand mindestens einer Aktion des Nutzers detektiert wird, dass die Blickänderung des Nutzers erfolgt ist oder erfolgen wird. Dann entfaltet die Blickänderung nämlich einen Vorteil durch doppelten Nutzen: Sie dient sowohl der Kalibrierung als auch der Aktion des Nutzers.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Kalibrierung einer Kamera für eine Blickrichtungserkennung in einem Fahrzeug, eine Vorrichtung für ein Kraftfahrzeug mit einer Kamera und mindestens einem weiteren Element und ein Computerprogrammprodukt. Dabei ist das mindestens eine weitere Element in fester geometrischer Beziehung zu der Kamera angeordnet.
Stand der Technik
In Fahrzeugen und anderen Anwendungsszenarien werden Kameras verwendet, die so angeordnet sind, dass sie Kopf und Augen eines Nutzers, etwa eines Fahrers des Fahrzeugs, erfassen können. Die grundsätzliche Positionierung der Kamera erlaubt dabei die Bestimmung einer Blickrichtung des Nutzers. Allerdings erfordert eine absolute Bestimmung der Blickrichtung mit nur einer Kamera, dass die Kamera und die Blickrichtungserkennung zuvor kalibriert wurden.
Die Kamera wird dabei zum Beispiel mittels der sogenannten Bandende-Kalibrierung, die auch als EOL Kalibrierung (end of line Kalibrierung) bezeichnet wird, kalibriert.
Für die Blickrichtungserkennung wird in DE102005047160 eine Ellipsenerkennung zur Bestimmung der Blickrichtung eingesetzt. Aus einer exakten Position der ellipsenförmigen Abbildung der kreisförmigen Pupille kann auf die Position des Auges und daraus auf die Blickrichtung eines Anwenders geschlussfolgert werden.
S. Kohlbecher et al., beschreiben in: ‘Calibration-Free Eye Tracking by Reconstruction of the Pupil Ellipse in 3-D Space, ETRA’08, 2008’ eine stereo-basierte kalibrationsfreie Methode.
Eine andere Möglichkeit der Kalibrierung besteht darin, den Nutzer mit dem weiteren Element interagieren zu lassen, zum Beispiel indem der Nutzer mit den Augen Marker auf einem Bildschirm verfolgen muss, dessen räumliche Anordnung im Bezug zur Kamera bekannt und grundsätzlich unveränderlich ist.
Mit jedem Positionswechsel des Markers auf dem Bildschirm geht eine Blickrichtungsänderung des Nutzers einher, die in Kamerabildern zumindest relativ bestimmbar ist. Aus der Positionsänderung des Markers, der festen räumlich-geometrischen Beziehung des Bildschirms zur Kamera und der detektierten relativen Blickrichtungsänderung lässt sich wiederum, gegebenenfalls unter Verwendung von Kameraparametern der Kamera, eine absolute Blickrichtung bestimmen.
Mittels mehrerer absoluter Blickrichtungen kann so eine stabile Kalibrierung der Blickrichtungserkennung erzielt werden.
Offenbarung der Erfindung
Die Erfinder haben erkannt, dass die Kalibrierung durch Interaktion mit einem weiteren Element verbessert werden kann, wenn die notwendige Blickrichtungsänderung des Nutzers im Rahmen einer Aktion des Nutzers erfolgen kann, die dieser ohnehin ausführt.
Erfindungsgemäß wird gemäß Anspruch 1 ein Verfahren zur Kalibrierung einer Kamera für eine Erkennung einer absoluten Blickrichtung in einem Fahrzeug zur Verfügung gestellt. Mindestens ein weiteres Element ist in fester räumlich-geometrischer Beziehung zu der Kamera angeordnet. Die Kalibrierung erfolgt mittels Detektion, in Bildern der Kamera, mindestens einer relativen Blickrichtungsänderung, bei der ein Nutzer seinen Blick hin auf das weitere Element ändert. Das Verfahren ist dadurch gekennzeichnet, dass anhand mindestens einer Aktion des Nutzers detektiert wird, dass die relative Blickrichtungsänderung des Nutzers erfolgt ist oder erfolgen wird.
Dann entfaltet die Blickänderung nämlich einen Vorteil durch doppelten Nutzen:
Sie dient sowohl der Kalibrierung als auch der Aktion des Nutzers.
In einer bevorzugten Ausführungsform kann das Verfahren eine Ermittlung der absoluten Blickrichtung unter Verwendung der relativen Blickrichtungsänderung und der festen räumlich-geometrischen Beziehung umfassen.
Dies verbessert die Kalibrierung.
Zur Ermittlung der absoluten Blickrichtung können Kameraparameter der Kamera aus einer Bandendekalibrierung herangezogen werden.
Dies verbessert die Kalibrierung weiter.
Mehrere absolute Blickrichtungen können ermittelt werden, die dann zur Kalibrierung der Blickrichtungserkennung herangezogen werden.
Dies verbessert die Kalibrierung noch weiter.
Die Kalibrierung kann eine Bestimmung einer Kopfposition und einer Augenposition in einem von der Kamera aufgenommen Bild und die Ermittlung der relativen Blickrichtungsänderung anhand der bestimmten Kopfposition und der bestimmten Augenposition umfassen.
So lässt sich die relative Blickrichtungsänderung leicht ermitteln.
Das weitere Element kann beispielsweise ein Radio, ein Autonavigationssystem und/oder eine Klimaanlage umfassen und die Aktion ein Bedienen einer Taste, eines Touchpads und/oder eines Touchscreens umfassen.
Dann kann das Erfolgen der Blickrichtungsänderung leicht detektiert werden.
Das weitere Element kann auch einen Rückspiegel und/oder einen Bildschirm umfassen, und die Aktion kann ein Fahrmanöver umfassen.
Das Verfahren kann eine Synchronisation eines Videozeitstempels der Kamera mit einem Bedien- und/oder Anzeigeereignis des weiteren Elements, welches die Aktion auslöst oder durch sie ausgelöst wird, umfassen.
Dies erleichtert, die relative Blickrichtungsänderung in den Bildern zu detektieren.
Erfindungsgemäß wird weiterhin gemäß Anspruch 9 eine Vorrichtung für ein Kraftfahrzeug mit einer Kamera und mindestens einem weiteren Element, vorgestellt. Das weitere Element ist in fester räumlich-geometrischer Beziehung zu der Kamera angeordnet, wobei die Vorrichtung eingerichtet ist, die Schritte des erfindungsgemäß vorgestellten Verfahrens auszuführen.
Schließlich wird auch ein Computerprogrammprodukt gemäß Anspruch 10 erfindungsgemäß vorgestellt. Das Computerprogrammprodukt umfasst einen computerausführbaren Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Programm auf einem Steuergerät eines Fahrzeugs ausgeführt wird, wobei das Fahrzeug eine Kamera und mindestens ein weiteres Element in fester räumlich-geometrischer Beziehung zu der Kamera umfasst.
Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben und in der Beschreibung beschrieben.
Zeichnungen
Ausführungsbeispiele der Erfindung werden anhand der Zeichnungen und der nachfolgenden Beschreibung näher erläutert. Es zeigt:
1 eine schematische und beispielhafte Systemübersicht zur Kalibrierung einer Innenraumkamera eines Fahrzeugs.
Ausführungsformen der Erfindung
In der 1 ist eine schematische und beispielhafte Systemübersicht zur Kalibrierung einer Innenraumkamera eines Fahrzeugs gezeigt.
Das System umfasst Bedien- und/oder Anzeigeelemente 100, 200, 300, 400, eine Innenraumkamera 500, die das Gesicht eines Fahrers des Fahrzeugs erfasst, und ein elektronisches Steuergerät (electronic control unit, ECU) 600.
Die Elemente 100, 200, 300, 400 kommunizieren über ein Fahrzeugbussystem 900, beispielsweise einen CAN-Bus, mit dem Steuergerät 600. Beispiele für Bedien- und/oder Anzeigeelemente 100, 200, 300, 400 umfassen Navigationssystem, ein Autoaudiosystem, Seiten- und Rückspiegel, Instrumentendisplay und Klimakontrollpanel.
Das Steuergerät umfasst eine Einheit 610 zur Bildverarbeitung, die mit der Innenraumkamera 500 in Verbindung steht und in Bildern der Kamera Kopf- und Augenpositionen und anhand von Änderungen der Kopf- und Augenpositionen relative Blickrichtungsänderungen bestimmt.
Das Steuergerät umfasst weiterhin eine Einheit 620 zur Auswertung von Mensch-Maschine-Schnittstellen-Aktivität (Human-Machine-Interface-Aktivität, HMI-Aktivität) auf dem Fahrzeugbus 900, beispielsweise in Rahmen von ACC-Folgefahrten (automatic cruise control). Die Einheit 620 kann beispielsweise aus Fahrmanövern (zum Beispiel Blinkersetzen, Spurwechsel) darauf schließen, dass eine in Kamerabildern detektierte relative Blickrichtungsänderung einem Blick des Fahrers in den Rück- oder in einen der Seitenspiegel entspricht. Ähnlich kann aus Eingaben in ein Audiosystem oder ein Navigationssystem des Fahrzeugs darauf geschlossen werden, dass eine in Kamerabildern detektierte relative Blickrichtungsänderung einem Blick des Fahrers auf das zugehörige Bedienelement beziehungsweise -system entspricht.
Die von der Einheit 610 bestimmten Blickrichtungsänderungen werden von einer Einheit 630 mit den HMI-Aktivitäten, die von der Einheit 620 bestimmt werden, synchronisiert.
Weitere Daten 700 werden von einer Einheit 640 herangezogen, um aus den mit den HMI-Aktivitäten synchronisierten Blickrichtungsänderungen absolute Blickrichtungen zu berechnen. Die weiteren Daten 700 umfassen beispielsweise Kameraparameter aus einer Bandendekalibrierung der Kamera und Daten zur räumlich-geometrischen Anordnung der Bedienelemente im Verhältnis zu einer optischen Achse der Kamera. Letztere können etwa aus CAD-Modellen des Fahrzeugs stammen.
Eine Einheit 650 ermittelt schließlich aus zwei oder mehreren absoluten Blickrichtungen, wie sie von der Einheit 640 bestimmt wurden, eine absolute Blickrichtung und gibt einen Kalibrierparameter 800 der Blickrichtung aus.
Bei den Einheiten kann es sich um eigenständige Hardwarekomponenten oder um Softwaremodule beziehungsweise Softwarekomponenten handeln. Das Steuergerät kann zusätzliche Aufgaben erfüllen. Beispielsweise kann das Steuergerät Teil der Haupteinheit (Head Unit) oder des Instrumentenclusters, der Anzeigevorrichtung zur Anzeige mehrerer Parameter, beispielsweise Geschwindigkeit, Drehzahl, Kilometerzahl und Tankstand, sein.
Die Softwaremodule beziehungsweise Softwarekomponenten können auf einem Speichermedium, also etwa einer CD, einer DVD, einem USB-Stick, oder einem Flash-Baustein oder einem anderen Computerprogrammprodukt gespeichert sein.
Die Bedienelemente 100, 200, 300, 400 können beispielsweise ein Navigationssystem, ein Autoaudiosystem oder eine Klimaanlage sein. Bedient der Fahrer beispielsweise das Autoaudiosystem beziehungsweise das Navigationssystem und führt eine Titelsuche beziehungsweise Zielsuche aus, so wird dies erfindungsgemäß als Indiz dafür genommen, dass der Fahrer gleichzeitig mit der Suche seine Blick auf ein Anzeigemittel richten wird, auf welchem auswählbare Titel oder Navigationsziele angezeigt werden. Die Kopf- und Augenposition(en) im/in mit der Bedienung synchronisierten Bild(ern) können dann mit einer absoluten Blickrichtung in Beziehung gesetzt werden, wobei die absolute Blickrichtung sich aus der festen relativen räumlich-geometrischen Anordnung des Anzeigemittels im Verhältnis zu Fahrersitz und optischer Achse der Kamera ergibt.
Es wird also eine online-Kalibrierung der Blickrichtungsänderungserkennung ermöglicht, die Fahrerbedienungen und/oder -interaktionen mit Elementen im oder am Fahrzeug, die relativ zur Kamera in fester räumlicher Anordnung sind, für die Kalibrierung verwendet.
In einer beispielhaften Ausführungsform des erfindungsgemäßen Verfahrens wird zuerst eine Vorkalibrierung interner Parameter der Kamera durchgeführt. Dies kann beispielsweise eine Bandendekalibrierung umfassen. Es werden weiterhin Orientierung und Position der Kamera in einem fahrzeugzentrierten Koordinatensystem validiert. Beispielsweise anhand von CAD-Modellen des Fahrzeugs werden zudem die räumlichen Positionen der Bedien-/Anzeigeelemente, die für die Kalibrierung der Blickrichtungsänderung infrage kommen, relativ zur Kamera bestimmt.
Nach der Vorkalibrierung bestimmt die Bildverarbeitung Kopf- und Augenposition im Bild und daraus eine relative Blickrichtungsänderung.
Parallel dazu werden Bedienvorgänge und Aktionen, also etwa Lenkmanöver oder Blinkeraktivierungen, des Fahrers analysiert.
Erfolgt eine relative Blickrichtungsänderung synchronisiert, also gleichzeitig, kurz vor oder kurz nach einer Bedienung oder Aktion, so kann darauf geschlossen werden, dass die relative Blickrichtungsänderung den Blick des Fahrers auf das Element gerichtet hat, an dem der Bedienvorgang erfolgt oder mit dem der Bedienvorgang in Zusammenhang steht. Eine relative Blickrichtungsänderung, die synchronisiert ist mit einer Eingabe in einem Audiosystem oder einem Navigationssystem, richtet sich vermutlich auf das entsprechende System. Und eine relative Blickrichtungsänderung, die synchronisiert ist mit einer Aktion, die einen Spurwechsel einleitet, richtet sich vermutlich hin zum Rückspiegel oder einen Seitenspiegel. Ebenso kann beispielsweise angenommen werden, dass eine relative Blickrichtungsänderung, die synchronisiert ist mit einem Warnsignal auf einem Display, einer Blickänderung des Fahrers hin auf das Display entspricht.
Aus der relativen Position des zugehörigen Elements, an dem der Bedienvorgang ausgeführt wurde, kann dann eine zugehörige absolute Blickrichtung bestimmt werden.
Mehrere absolute Blickrichtungen können dann zur allgemeinen Kalibrierung der Blickrichtungserkennung verwendet werden.
Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt, und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102005047160 [0004]

Zitierte Nicht-Patentliteratur

S. Kohlbecher et al., beschreiben in: ‘Calibration-Free Eye Tracking by Reconstruction of the Pupil Ellipse in 3-D Space, ETRA’08, 2008’ [0005]

Claims

Verfahren zur Kalibrierung einer Kamera (500) für eine Erkennung einer absoluten Blickrichtung in einem Fahrzeug, wobei mindestens ein weiteres Element (100, 200, 300, 400) in fester räumlich-geometrischer Beziehung zu der Kamera (500) angeordnet ist, wobei die Kalibrierung mittels Detektion, in Bildern der Kamera (500), mindestens einer relativen Blickrichtungsänderung, bei der ein Nutzer seinen Blick hin auf das weitere Element (100, 200, 300, 400) ändert, erfolgt, dadurch gekennzeichnet, dass anhand mindestens einer Aktion des Nutzers detektiert wird, dass die relative Blickrichtungsänderung des Nutzers erfolgt ist oder erfolgen wird.
Verfahren nach Anspruch 1, wobei das Verfahren eine Ermittlung der absoluten Blickrichtung unter Verwendung der relativen Blickrichtungsänderung und der festen räumlich-geometrischen Beziehung umfasst.
Verfahren nach Anspruch 2, wobei zur Ermittlung der absoluten Blickrichtung Kameraparameter der Kamera (500) aus einer Bandendekalibrierung herangezogen werden.
Verfahren nach Anspruch 2 oder 3, wobei mehrere absolute Blickrichtungen ermittelt werden, die zur Kalibrierung der Blickrichtungserkennung herangezogen werden.
Verfahren nach einem der Ansprüche 2 bis 4, wobei die Kalibrierung eine Bestimmung einer Kopfposition und einer Augenposition in einem von der Kamera (500) aufgenommen Bild und die Ermittlung der relativen Blickrichtungsänderung anhand der bestimmten Kopfposition und der bestimmten Augenposition umfasst.
Verfahren nach einem der Ansprüche 1 bis 5, wobei das weitere Element (100, 200, 300, 400) ein Radio, ein Autonavigationssystem und/oder eine Klimaanlage umfasst und die Aktion ein Bedienen einer Taste, eines Touchpads und/oder eines Touchscreens umfasst.
Verfahren nach einem der Ansprüche 1 bis 5, wobei das weitere Element (100, 200, 300, 400) einen Rückspiegel und/oder einen Bildschirm umfasst und die Aktion ein Fahrmanöver umfasst.
Verfahren nach einem der Ansprüche 1 bis 7, wobei das Verfahren eine Synchronisation eines Videozeitstempels der Kamera (500) mit einem Bedien- und/oder Anzeigeereignis des weiteren Elements (100, 200, 300, 400), welches die Aktion auslöst oder durch sie ausgelöst wird, umfasst.
Vorrichtung (600) für ein Kraftfahrzeug mit einer Kamera (500) und mindestens einem weiteren Element (100, 200, 300, 400), welches in fester räumlich-geometrischer Beziehung zu der Kamera (500) angeordnet ist, wobei die Vorrichtung (600) eingerichtet ist, die Schritte des Verfahrens gemäß einem der vorhergehenden Ansprüche auszuführen.
Computerprogrammprodukt mit computerausführbarem Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8, wenn das Programm auf einem Steuergerät (600) eines Fahrzeugs ausgeführt wird, wobei das Fahrzeug eine Kamera und mindestens ein weiteres Element (100, 200, 300, 400) in fester räumlich-geometrischer Beziehung zu der Kamera (500) umfasst.