DE102014216053A1

DE102014216053A1 - Anpassung der Beleuchtungs-Wellenlänge bei der Augenerfassung

Info

Publication number: DE102014216053A1
Application number: DE102014216053.7A
Authority: DE
Inventors: Matthias Kaufmann; Felix Schwarz
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2014-08-13
Filing date: 2014-08-13
Publication date: 2016-02-18

Abstract

Offenbart wird ein Augenerfassungssystem für Fahrzeuge, umfassend: Eine Infrarot-Lichtquelle, wobei die Infrarot-Lichtquelle dazu eingerichtet ist, Infrarotlicht im Bereich einer Wellenlänge abzugeben, wobei die Wellenlänge einer wählbaren Vorgabe entspricht; Eine Kamera, die dazu eingerichtet ist, Aufnahmen eines Fahrers des Fahrzeugs zu machen, die zumindest die Augen des Fahrers abbilden; wobei die Kamera dazu eingerichtet ist, die Aufnahmen in einem Wellenlängenbereich zu machen, der dem abgegebenen Infrarotlicht entspricht; wobei das Augenerfassungssystem zu Folgendem eingerichtet ist: Auswählen der vorgegebenen Infrarot-Wellenlänge abhängig von der Intensität des ohne die Infrarot-Lichtquelle vorhandenen Infrarotlichts in verschiedenen Wellenlängen.

Description

Die Erfindung betrifft ein Augenerfassungssystem für Fahrzeuge, bei dem die Beleuchtungswellenlänge dynamisch angepasst wird abhängig von der Intensität des Umgebungslichts bei verschiedenen Wellenlängen.
Heutzutage sind Systeme zur Erfassung bzw. Erkennung der Augen, insbesondere die Blickrichtungserkennung (auch Eye-Tracking genannt), die Müdigkeitserkennung oder der Kopfausrichtungserkenung, einer Person bekannt. Die meisten dieser Systeme sind als kamerabasierte Systeme ausgeführt und viele davon arbeiten basierend auf sogenannten „Glints“. In Glint-basierten Systemen wird das Auge einer Person (oder auch großflächiger das ganze Gesicht und dessen nähere Umgebung) mit einer Lichtquelle bestrahlt. Die Spiegelung dieser Lichtquelle (der Glint) auf dem Augapfel des Benutzers, insbesondere auf der Augenhornhaut, wird erkannt, und dazu verwendet, die Ausrichtung des Augapfels zu bestimmen. Hierbei wird sich die Krümmung der Augenhornhaut zunutze gemacht. Häufig wird als unterstützende Maßnahme auch die Pupille erkannt und die Position des Glints relativ zur Pupille zur Bestimmung der Ausrichtung des Augapfels verwendet. Die Blickrichtungserkennungs-Systeme können mehrere Lichtquellen (und deren Glints) verwenden.
Meistens wird zur Blickrichtungserkennung eine Lichtquelle im Infrarot-Bereich des Lichts verwendet. Hierin wird der gesamte Wellenlängenbereich elektromagnetischer Strahlung von ca. 780 nm bis 1 mm als Infrarotlicht verstanden. Dies schließt insbesondere die Unterbereiche von ca. 780 nm bis ca. 1400 nm und 900 nm bis ca. 1400 nm mit ein. Infrarotlicht hat den Vorteil, dass es vom menschlichen Auge nicht wahrgenommen werden kann und gleichzeitig (in der zur Blickerkennung nötigen Intensität) gesundheitlich ungefährlich ist. Vom Infrarotlicht wird hierin das sichtbare Licht unterschieden, das Wellenlängen von 780 nm bis 380 nm aufweist. Typischerweise ist die Lichtquelle als eine oder mehrere LEDs ausgeführt.
Weiterhin sind Augenerfassungssysteme bekannt, die der Identifikation des Insassen eines Fahrzeugs dienen. Diese Systeme benötigen nicht unbedingt eine künstliche Beleuchtung.
Neben der Erkennung von Glints zur Bestimmung der Blickrichtung bestehen auch Verfahren, die mittels Stereographie und mehreren Infrarotkameras den Normalenvektor der Pupille berechnen und daraus die Blickrichtung ableiten, wie beispielsweise in „REAL-TIME CALIBRATION-FREE AUTONOMOUS EYE TRACKER" von Frank Klefenz et al, ICASSP 2010, IEEE beschrieben.
Darüber hinaus ist es bekannt, den Lidschluss einer Person mittels Kameras zu erkennen.
Aus der US 2008/252849 A1 ist ein System zur Blickrichtungserkennung bekannt, das zwei Wellenlängenkomponenten verwendet, um Referenzpositionen zu bestimmen.
Bei der Verwendung von Augenerfassungssystemen in Fahrzeugen ist die Sonneneinstrahlung eine wesentliche Störgröße und reduziert bei entsprechender Witterung das Signal zu Rausch Verhältnis. Besonders signifikant ist die Störung beispielsweise an Sommertagen und dem Einsatz in Cabrios. Die Störung kann soweit gehen, dass keine Augenerfassung mehr möglich ist oder die Intensität der Infrarot-Beleuchtung signifikant erhöht werden müsste, was den Energiebedarf steigert und durch Vorgaben zur Augensicherheit nicht beliebig möglich ist.
Der Erfindung liegt deshalb die Aufgabe zugrunde, die Einsatzbereitschaft von Augenerfassungssystemen im Fahrzeug bei störendem Umgebungslicht zu erhöhen.
Die Aufgabe wird durch ein Augenerfassungssystem und ein Verfahren gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
Ein erster Aspekt der Erfindung betrifft ein Augenerfassungssystem für Fahrzeuge, umfassend: Eine Infrarot-Lichtquelle, wobei die Infrarot-Lichtquelle dazu eingerichtet ist, Infrarotlicht im Bereich einer Wellenlänge abzugeben, wobei die Wellenlänge einer wählbaren Vorgabe entspricht; Eine Kamera, die dazu eingerichtet ist, Aufnahmen eines Fahrers des Fahrzeugs zu machen, die zumindest die Augen des Fahrers abbilden; wobei die Kamera dazu eingerichtet ist, die Aufnahmen in einem Wellenlängenbereich zu machen, der dem abgegebenen Infrarotlicht entspricht; wobei das Augenerfassungssystem zu Folgendem eingerichtet ist: Auswählen der vorgegebenen Infrarot-Wellenlänge abhängig von der Intensität des ohne die Infrarot-Lichtquelle vorhandenen Infrarotlichts in verschiedenen Wellenlängen. Der Bereich der Wellenlänge, in dem Infrarotlicht abgegeben wird, ist klein im Vergleich zum Bereich des Infrarotlichts insgesamt, beispielsweise 10, 20, 30, 50, 100 oder 150 nm. Die Entsprechung des Bereichs, in dem Aufnahmen gemacht werden und in dem Infrarotlicht abgegeben wird, kann eine komplette oder teilweise Überlappung sein.
Hierin wird also vorgeschlagen, die Augenerfassung mithilfe von Infrarotlicht in einem kleinen Wellenlängenbereich durchzuführen, der so gewählt wird, dass in ihm möglichst wenig Einfluss durch das störende Umgebungslicht des Fahrzeugs, also externer Störgrößen (z.B. Sonnenlicht), besteht. Die künstliche Lichtemission im Infrarotbereich und auch die Aufnahme in Infrarotbereich werden derart ausgeführt, dass nur Licht in dem kleinen Wellenlängenbereich berücksichtigt wird. Das störende Umgebungslicht wird hauptsächlich durch die direkte Sonneneinstrahlung dargestellt. Die Intensität der verschiedenen Wellenlängen im Infrarotspektrum des Sonnenlichts ist nicht konstant und schwankt auch zeitlich. Die Augenerfassung wird nun mithilfe einer künstlichen Infrarotbeleuchtung genau in dem Spektralbereich vorgenommen, in der die Sonneneinstrahlung aktuell ein Minimum aufweist. Auf diese Weise kann die Störstrahlung der Sonne, die beispielsweise die Erkennung einer Reflexion des Infrarotlichts der Lichtquelle (eines Glints) im Auge erschweren würde, minimiert werden.
Weiterhin ermöglicht das erfindungsgemäße System, die Intensität der künstlichen Infrarot-Beleuchtung (sofern ein ausreichendes Signal-zu-Rausch Verhältnis besteht) zu reduzieren. Dies ermöglicht Energieeinsparungen, Verringert die Belastung der Augen und erhöht die Augensicherheit. Gegebenenfalls kann die Anzahl der Kameras von bisherigen Augenerkennungssystemen verringert werden, da mithilfe des erfindungsgemäßen Systems bereits mit einer oder wenigen Kameras aufgrund des besseren Signal-zu-Rausch Verhältnisses eine ausreichend genaue Augenerkennung möglich ist.
In einer Implementierung ist die Kamera dazu eingerichtet ist, Aufnahmen in verschiedenen Wellenlängenbereichen des Infrarotlichts zu machen; Wobei das Auswählen der vorgegebenen Infrarotlicht-Wellenlänge mithilfe der Aufnahmen der Kamera in den verschiedenen Wellenlängenbereichen ausgeführt wird, während deren Aufnahme die Infrarot-Lichtquelle kein Infrarotlicht emittiert hat. Dies bedeutet, dass die Kamera dazu verwendet wird, festzustellen, welche Intensität des Infrarotlichts bei welcher Wellenlänge vorliegt und wo das Minimum liegt. Die Kamera macht keine direkte Aufnahme des auf das Fahrzeug einfallenden Umgebungslichts, sondern direkt eine Aufnahme am relevanten Ort, nämlich den Augen des Fahrers. Dies hat den Vorteil, dass eventuelle Filtereigenschaften von Front- oder Seitenscheiben für das einfallende Infrarotlicht berücksichtigt werden können. Die Kamera macht dazu Aufnahmen in verschiedenen Bereichen des Infrarotlichts, was anhand der Helligkeit der jeweiligen Aufnahmen einen Rückschluss auf die Intensitätsverteilung zulässt. Während dieser Aufnahmen ist die Infrarotlicht-Quelle selbstverständlich ausgeschaltet.
In einer alternativen Implementierung umfasst das Augenerfassungssystem ferner einen Sensor zur Erfassung der Intensität des Infrarotlichts in verschiedenen Wellenlängen. In diesem Fall handelt es sich um einen von der Kamera separaten Sensor, der auch derart angeordnet sein kann, dass er direkt das von außen auf das Fahrzeug einfallende Infrarotlicht vermisst. Der Sensor kann in bestehende Umgebungslichtsensoren zur Steuerung des Fahrtlichts integriert werden.
In einer weiteren alternativen Variante kann durch testen des Signal-zu-Rausch Verhältnisses des Augenerfassungssystems bei verschiedenen Infrarot-Wellenlängen (Emission und Kameraaufnahmen) der optimale Wellenlängenbereich bzw. das Minimum der Intensität der Störstrahlung gefunden werden. Dies kann auch als „Try and Error“ bezeichnet werden.
Vorteilhafterweise wird die vorgegebene Infrarotlicht-Wellenlänge abhängig von derjenigen Wellenlänge ausgewählt, an der ohne das Infrarotlicht der Infrarot-Lichtquelle ein lokales oder absolutes Intensitäts-Minimum besteht. Es können auch Kriterien hinsichtlich der Wellenlängen-Breite des Minimums vorgegeben werden.
Typischerweise umfasst die Kamera einen Filter, der die Auswahl eines Wellenlängenbereiches im Infrarotlicht ermöglicht, der durch den Filter im Wesentlichen nicht blockiert wird, was einem Bandpass entspricht. Die Breite des Bandpasses ist kleiner oder im Wesentlichen so groß wie die Breite des Wellenlängenbereiches, in dem die Infrarot-Lichtquelle emittiert, also 10, 20, 50, 100 oder 150 nm.
Ein anderer Aspekt der Erfindung betrifft ein Verfahren zur Augenerfassung in Fahrzeugen, umfassend: Erfassen der Intensität des aufgrund der Umgebung des Fahrzeugs vorhandenen Infrarotlichts verschiedener Wellenlängen; Auswählen und vorgeben einer Wellenlänge im Infrarotbereich; Abgeben von Infrarotlicht im Bereich der vorgegebenen Wellenlänge; Aufnehmen der Augen des Fahrers des Fahrzeugs mithilfe einer Kamera, wobei die Kamera Aufnahmen im Bereich des Infrarotlichts der vorgegebenen Wellenlänge macht; Erfassen der Augen mithilfe der Aufnahme.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 zeigt schematisch ein Augenerfassungssystem gemäß einem Ausführungsbeispiel.
2 zeigt schematisch ein Diagramm für die Strahlungsintensitäten der Umgebung und der Lichtquellen gemäß einem Ausführungsbeispiel.
DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS
1 zeigt schematisch ein Augenerfassungssystem gemäß einem Ausführungsbeispiel. Das Augenerfassungssystem für den Fahrer 1 eines Fahrzeugs ist in einem Fahrzeug umfasst (nicht dargestellt) und umfasst eine Lichtquelle, die die zwei Lichtquellen 2 und 3 umfasst. Jede Lichtquelle umfasst eine LED, die Infrarotlicht in einem 100nm breiten Wellenlängenbereich emittieren kann. Ein Beispiel einer Lichtemission einer LED ist in 2 durch die Kurven 1 und 2 dargestellt. Die Kurve 1 zeigt eine Lichtemission von ca. 100nm Wellenlängen-Breite mit einer Mittenwellenlänge von 850nm. Die Kurve 2 zeigt eine Lichtemission von ca. 100nm Wellenlängen-Breite mit einer Mittenwellenlänge von 950nm.
Die Mittenwellenlänge des Wellenlängenbereiches kann durch eine Ansteuerung vorgegeben werden. Die Ansteuerung der LEDs 2 und 3 geschieht über die elektronische Steuereinheit 5. Die Steuereinheit 5 ist ebenfalls mit der Kamera 4 verbunden. Die Kamera 4 verfügt über einen veränderlichen Bandpass-Filter mit einer Bandbreite von ca. 100nm, dessen Mittenwellenlänge je nach Ansteuerung anpassbar ist.
Die Steuereinheit 5 weist die Kamera 4 an, Aufnahmen unter Verwendung des Bandpassfilters zu machen, wobei für die jeweiligen Aufnahmen unterschiedliche Mittenwellenlängen verwendet werden. Gleichzeitig sind die LEDs 2 und 3 deaktiviert. Die Steuereinheit 5 wertet die Aufnahmen hinsichtlich deren Helligkeit aus und bestimmt so die vorhandene Bestrahlung mit Infrarotlicht in verschiedenen Wellenlängenbereichen. Ein Beispiel dieser Auswertung ist durch Kurve 3 in 2 dargestellt. Wie ersichtlich ist, befindet sich im Bereich von 760nm und 950nm ein Minimum. Das Minimum bei 760nm ist nicht ausreichend breit, so dass ein Betrieb der Augenerfassung bei 950nm von der Steuereinheit 5 entschieden wird. Die LEDs 2 und 3 werden folglich auf eine Lichtemission bei 950nm eingestellt. Wenn diese zuvor auf die Lichtemission bei 850nm eingestellt waren verschiebt sich somit die Lichtemission von Kurve 1 zu Kurve 2.
Die Steuereinheit 5 weist die Kamera 4 ferner an, den Bandpass-Filter der Kamera 4 auf den Mittenwert 950nm einzustellen.
In dieser Konfiguration arbeitet die Augenerfassung nun, um mit verbessertem Signal-zu-Rausch Verhältnis die Augen und den Glint der LEDs 2 und 3 im Auge des Fahrers zu erkennen. Die Steuereinheit 5 bestimmt im Folgenden die Blickrichtung des Fahrers. Die Bestimmung der Blickrichtung des Fahrers 1 ist aus dem Stand der Technik bekannt.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2008/252849 A1 [0007]

Zitierte Nicht-Patentliteratur

„REAL-TIME CALIBRATION-FREE AUTONOMOUS EYE TRACKER“ von Frank Klefenz et al, ICASSP 2010, IEEE [0005]

Claims

Augenerfassungssystem für Fahrzeuge, umfassend: Eine Infrarot-Lichtquelle, wobei die Infrarot-Lichtquelle dazu eingerichtet ist, Infrarotlicht im Bereich einer Wellenlänge abzugeben, wobei die Wellenlänge einer wählbaren Vorgabe entspricht; Eine Kamera, die dazu eingerichtet ist, Aufnahmen eines Fahrers des Fahrzeugs zu machen, die zumindest die Augen des Fahrers abbilden; wobei die Kamera dazu eingerichtet ist, die Aufnahmen in einem Wellenlängenbereich zu machen, der dem abgegebenen Infrarotlicht entspricht; wobei das Augenerfassungssystem zu Folgendem eingerichtet ist: Auswählen der vorgegebenen Infrarot-Wellenlänge abhängig von der Intensität des ohne die Infrarot-Lichtquelle vorhandenen Infrarotlichts in verschiedenen Wellenlängen.
Augenerfassungssystem nach Anspruch 1, wobei die Kamera ferner dazu eingerichtet ist, Aufnahmen in verschiedenen Wellenlängenbereichen des Infrarotlichts zu machen; Wobei das Auswählen der vorgegebenen Infrarotlicht-Wellenlänge mithilfe der Aufnahmen der Kamera in den verschiedenen Wellenlängenbereichen ausgeführt wird, während deren Aufnahme die Infrarot-Lichtquelle kein Infrarotlicht emittiert hat.
Augenerfassungssystem nach Anspruch 1, ferner umfassend: Einen Sensor zur Erfassung der Intensität des Infrarotlichts in verschiedenen Wellenlängen.
Augenerfassungssystem nach Anspruch 3, wobei der Sensor derart angeordnet ist, dass er die Intensität des Infrarotlichts erfasst, das von außerhalb des Fahrzeugs auf dieses einfällt.
Augenerfassungssystem nach einem der vorhergehenden Ansprüche, wobei die vorgegebene Infrarotlicht-Wellenlänge abhängig von derjenigen Wellenlänge ausgewählt wird, an der ohne das Infrarotlicht der Infrarot-Lichtquelle ein lokales oder absolutes Intensitäts-Minimum besteht.
Augenerfassungssystem nach einem der vorhergehenden Ansprüche, wobei die Kamera einen Filter umfasst, der die Auswahl eines Wellenlängenbereiches im Infrarotlicht ermöglicht, der durch den Filter im Wesentlichen nicht blockiert wird.
Augenerfassungssystem nach Anspruch 6, wobei für den Filter der Wellenlängenbereich ausgewählt wird, der dem Wellenlängenbereich des von der Infrarotlicht-Quelle abgegebenen Infrarotlichts entspricht.
Verfahren zur Augenerfassung in Fahrzeugen, umfassend: Erfassen der Intensität des aufgrund der Umgebung des Fahrzeugs vorhandenen Infrarotlichts verschiedener Wellenlängen; Auswählen und vorgeben einer Wellenlänge im Infrarotbereich; Abgeben von Infrarotlicht im Bereich der vorgegebenen Wellenlänge; Aufnehmen der Augen des Fahrers des Fahrzeugs mithilfe einer Kamera, wobei die Kamera Aufnahmen im Bereich des Infrarotlichts der vorgegebenen Wellenlänge macht; Erfassen der Augen mithilfe der Aufnahme.