DE102008045774A1

DE102008045774A1 - Methode zur Erkennung der Blickrichtung

Info

Publication number: DE102008045774A1
Application number: DE102008045774A
Authority: DE
Inventors: Claudius Zelenka
Original assignee: Individual
Current assignee: Individual
Priority date: 2008-09-04
Filing date: 2008-09-04
Publication date: 2010-03-11

Abstract

Gegenstand der Erfindung ist ein Verfahren zur Erkennung des optischen Reflexes vom Auge. Das Auge spielt eine wichtige Rolle in der zwischenmenschlichen Kommunikation. Auch als Schnittstelle zwischen dem Menschen und der Maschine hat die Erkennung der Blickrichtung ein breites Spektrum an potentiellen Anwendungen. In den letzten Jahren wurden mehrere Systeme entworfen, sie fanden aber wegen ihrer Störungsanfälligkeit nur begrenzte Ausbreitung. Erkennung der Blickrichtung wird heute fast nur im medizinischen und im militärischen Bereich verwendet. Diese Erfindung betrifft ein Verfahren zur sicheren und störungsfreien Erkennung der Augenposition in einer Umgebung mit heller und wechselnder Beleuchtung, wie es z. B. im Büro oder im Fahrzeug der Fall ist. Die Blickrichtung kann aus der Position der Pupillen und Form der Reflexe ermittelt werden. Das optische System des Auges erzeugt bei punktförmiger Beleuchtung eine Reihe von Reflexen. Am stärksten ist der Reflex von der Netzhaut, der im nahen Infrarotbereich bis zu 30% beträgt. Er hat höhere Intensität, als die meisten störenden Reflexe aus der Umgebung. Zur zuverlässigen Erkennung des Reflexes von der Netzhaut ist eine neuartige Beleuchtung mit einer Vielzahl von kleinen Lichtquellen erforderlich, die wesentlicher Bestandteil der Erfindung ist.

Description

Technische Beschreibung
Stand der Technik
Als Beispiel für den Stand der Technik dient das Patent US 4,836,670 vom Thomas Hutchinson.
Zur Erkennung der Position der Augenpupille wird Reflex von der Netzhaut mit einer Kamera aufgenommen, anschließend wird zur Berechnung der Blickrichtung auch der Reflex von der Hornhaut benutzt. Die Erkennung des Reflexes von der Netzhaut ist dabei von zentraler Bedeutung.
Zur Messung des Reflexes von der Netzhaut wird eine Leuchtdiode innerhalb der Öffnung eines Objektivs untergebracht. Diese Beleuchtung reicht allerdings für zuverlässige Funktion im hell beleuchteten Büro oder im Fahrzeug nicht aus. Aus diesem Grund hat dieses Verfahren in der Praxis nur begrenzte Verbreitung gefunden.
Störungen durch fremde Lichtquellen können durch die Verwendung einer schmalbandigen Beleuchtung, zusammen mit einem optischen Bandpassfilter vor der Kamera, zum Teil unterdrückt werden.
Schwerwiegender sind Reflexe vom Gesicht, oder von Gegenständen aus der Umgebung, die auf diese Weise nicht beseitigt werden können. Diese Reflexe haben oft ähnliche oder größere Intensität als Reflexe von der Netzhaut bei der Beleuchtung nach USP 4,836,670 .
Bei den medizinischen oder militärischen Systemen besteht die Möglichkeit, störende Reflexe durch Unterbringung der Kamera am Kopf oder in seiner Nähe zu reduzieren. Dabei wird auch die Beweglichkeit der Person eingeschränkt, deswegen sind für eine Verwendung im Büro oder im Fahrzeug solche Verfahren nicht geeignet.
Detaillierte Beschreibung der Erfindung
Das neue Verfahren ermöglicht eine zuverlässige Erkennung des Reflexes von der Netzhaut des Auges in einer realen Umgebung im Büro oder im Fahrzeug. Der Reflexionsgrad der Netzhaut des Auges beträgt im nahen Infrarotbereich ca. 30% und ist damit sehr viel stärker, als der Reflex von der Hornhaut, der nur ca. 4% erreicht. Auch die meisten störenden Reflexe aus der Umgebung haben wesentlich geringere Intensität, als der Reflex von der Netzhaut.
Das Licht einer punktförmigen Lichtquelle wird von der Augenlinse auf die Netzhaut fokussiert. Untersuchungen haben ergeben, dass die kleinste Größe eines Lichtpunktes auf der Netzhaut im sichtbaren Bereich zwischen 7 ... 30 Mikrometer liegt. Im sichtbaren Bereich wird das Licht auf den Lichtrezeptoren zum größten Teil absorbiert, im infraroten Bereich dagegen dringt es in die Netzhaut ein und wird auf deren Schichten und Nervenfasern gestreut.
Diese Streuung und optische Fehler der Augenoptik führen zur Vergrößerung des Abbildes der Lichtquelle. Dieser vergrößerte Lichtfleck wird von der Augenlinse zurück auf die Lichtquelle abgebildet. Ähnlich entsteht auch der in der Fotografie gut bekannte „rote Augen Effekt”.
Das Auge stellt einen Rückreflektor dar.
Der Durchmesser des reflektierten Lichtpunktes hängt von den optischen Fehlern des Auges und von der Entfernung ab, im typischen Fall beträgt er zwischen 0.3 bis 1 mm.
Nur wenn die Lichtquelle kleiner als der zurück reflektierte Lichtpunkt ist, kann ein wesentlicher Teil des Lichtes auf den hinter ihr befindlichen Detektor gelangen.
Nachteil einer kleinen Lichtquelle liegt in ihrer begrenzten Lichtleistung. Dieses Problem lässt sich mit einem Laser lösen, allerdings darf dann die Strahlungsdichte wegen der Sicherheitsauflagen maximal 0.05 mW/m² betragen.
Für zuverlässige Funktion ist eine wesentlich stärkere Beleuchtung erforderlich. Dieses Problem wird durch die Verwendung einer Vielzahl von kleinen Lichtquellen gelöst.
Zur Unterdrückung von störenden Reflexen werden weiter zwei Beleuchtungssysteme verwendet, wie in der 1 dargestellt.
Das erste Beleuchtungssystem besteht aus zweidimensional angeordneten kleinen Lichtquellen.
Vorzugsweise wird eine zweidimensionale Anordnung aus Leuchtdioden aufgebaut, die auf einem transparenten Substrat montiert werden.
Eine Anordnung aus 20 LED's mit einem Durchmesser 150 μm erreicht eine Lichtleistung von über 100 mW, die eine zuverlässige Erkennung der Augenreflexe auch über größere Entfernung ermöglicht.
Grundsätzlich ist es möglich, mit jeder Art von Lichtquellen ein Array aufzubauen.
Eine andere mögliche Ausführung des ersten Beleuchtungssystems besteht aus einen Bündel aus Lichtleitleitern, der am Eingang beleuchtet wird. Die Ausgänge der einzelnen Lichtleiter werden über die Öffnung des Objektivs verteilt.
Eine andere mögliche Ausführung besteht aus kleinen Strahlern aus fluoreszierendem Farbstoff, die mit einem UV Strahler angeregt werden.
Durch die hohe Anzahl von kleinen Lichtquellen kann insgesamt eine hohe Lichtleistung erreicht werden.
Ein wesentliches Merkmal dieser Anordnung besteht darin, dass sie keine optischen Strahlteiler, auf deren Oberflächen unweigerlich störende Reflexe entstehen, verwendet.
Die verwendeten kleinen Lichtquellen müssen mindestens in einer Richtung kleiner, als der vom Auge reflektierte Lichtpunkt sein, sie können z. B. kreisförmig, rechteckförmig, oder strichförmig sein.
Um die Beleuchtung für das Auge unsichtbar zu machen, ist es üblich die Wellenlänge im nahen Infrarotbereich, von ca. 750 nm bis 1500 nm zu wählen. Für Lichtwellenlängen oberhalb von 1500 nm ist das Auge nicht durchlässig.
Wie üblich wird vor der Kamera ein nicht dargestelltes optisches Filter angebracht, das vorwiegend nur die Wellenlänge der Lichtquellen durchlässt. Solche Filter gehören zum Stand der Technik und können z. B. von der Firma Schott in Mainz bezogen werden.
Wesentlicher Merkmal der Erfindung ist die Verwendung eines weiteren zweiten Beleuchtungssystems. Es erzeugt in der Ebene des Betrachters die gleiche optische Leistungsdichte, wie das erste Beleuchtungssystem und kann unabhängig aktiviert werden.
Wie bereits erklärt wurde, ist das erste Beleuchtungssystem so aufgebaut, dass das von der Netzhaut reflektierte Licht auf den hinter ihm liegenden Detektor gelangen kann.
Bei der Beleuchtung mit dem zweiten Beleuchtungssystem wird das von der Netzhaut zurück reflektierte Licht auf den Detektor nicht durchgelassen. Die Kamera sieht nur das vom Gesicht und von der Umgebung gestreute Licht.
Hinter den Lichtquellen des zweiten Beleuchtungssystems können Blenden angebracht werden, die das von der Netzhaut reflektierte Licht abfangen. In der bevorzugten Ausführung, die auf dem Bild 1 dargestellt ist, werden Lichtquellen des zweiten Beleuchtungssystems außerhalb der Öffnung des Detektors angebracht.
Im Folgenden wird die Funktionsweise der zwei Beleuchtungssysteme näher erläutert.
Zuerst wird nur das erste Beleuchtungssystem aktiviert und ein erstes Bild mit der Kamera aufgenommen. Danach wird nur das zweite Beleuchtungssystem aktiviert und ein zweites Bild aufgenommen. Anschließend werden beide Bilder voneinander subtrahiert.
Beide Bilder unterschieden sich im Wesentlichen nur durch die Reflexe von der Netzhaut.
Bei der Subtraktion beider Bilder werden, mit Ausnahme der Reflexe von der Netzhaut, alle anderen Bildanteile und Störungen durch fremde Lichtquellen zum großen Teil unterdrückt.
In der Praxis wurden noch bessere Ergebnisse erzielt, wenn das zweite Bild vor der Subtraktion mit einem empirischen Faktor zwischen ca. 0.7 bis 1.5 multipliziert wurde.
Als Detektor wird in der 1 eine Kamera mit Objektiv dargestellt.
Es bietet sich an, eine handelsübliche Kamera mit Autofokus Funktion zu verwenden. Die Kamera ist auf die Ebene des Betrachters scharfgestellt.
Eine CCD oder CMOS Kamera besteht aus Fotodioden, die zweidimensionale angeordnet sind. Es ist grundsätzlich möglich, entweder eine Kamera oder ein anderes Array aus Fotodioden zu verwenden.
Aus dem Bild der Kamera kann der räumliche Winkel der Augenreflexe bestimmt werden.
Wenn zwei oder mehrere Systeme nach 1 verwendet werden, lässt sich mit Hilfe von trigonometrischen Formeln die absolute Position der Augen ermitteln.
Auf 2 wird bei der gleichen Beleuchtung wie in 1 ein anderer Detektor verwendet, mit dem die Lichtverteilung der Reflexe von der Netzhaut in der Ebene der Lichtquellen erfasst wird.
Die Anordnung nach 2 ermöglicht eine einfache Erkennung der Blickrichtung. Sie ist besonders dazu geeignet, einen direkten Blick auf die Lichtquellen zu erkennen.
Die Anordnung besteht aus einem Linsenarray und einem Objektiv. Jeder Lichtquelle und jedem zurückreflektierten Strahl wird eine Linse des Linsenarrays zugeordnet.
Punktprofile in der Ebene der Lichtquellen werden im Fokus des Objektivs überlagert, wodurch die Lichtintensität an der Kamera erhöht wird.
In beiden 1 und 2 hängt die Form der Reflexe von der Netzhaut von der Blickrichtung ab.
Wenn die Augen direkt auf die Lichtquellen gerichtet sind, haben die reflektierten Lichtpunkte kleinsten Durchmesser und sind im Wesentlichen rund.
Wenn die Augen nicht direkt auf die Lichtquellen gerichtet sind, verformt sich der vom Auge in der Ebene der Lichtquellen gebildete Lichtpunkt, er wird größer und elliptisch. Aus der Form der Lichtpunkte kann die Blickrichtung bestimmt werden.
Es ist daran gedacht, beide Ausführungen 1 und 2 in einem Gerät zu vereinen, indem ein umschaltbares optisches System benutzt wird.
In einigen praktischen Anwendungen führt die Verwendung von polarisierten Lichtquellen zusammen mit einem polarisierenden Filter im Detektor zu einer weiteren Unterdrückung von störenden Reflexen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- US 4836670 [0001]
- US 4,836,670 P [0005]

Claims

Anordnung zur Erkennung des Reflexes vom Auge dadurch gekennzeichnet, dass ein erstes und ein zweites Beleuchtungssystem verwendet wird, die beide in der Ebene des Betrachters gleiche Lichtleistungsdichte erzeugen, wobei nur die durch das erste Beleuchtungssystem erzeugten Augenreflexe auf einen zweidimensionalen optischen Detektor gelangen.
Anordnung nach dem Anspruch 1 dadurch gekennzeichnet, dass das erste Beleuchtungssystem aus Lichtquellen besteht, derer Abmessungen kleiner, als der von der Netzhaut des Auges reflektierter Lichtpunkt sind.
Anordnung nach einem der Ansprüche 1 oder 2 dadurch gekennzeichnet, dass als Detektor eine zweidimensionale Anordnung aus Fotodioden verwendet wird, auf die mit einem optischen System die Ebene des Betrachters abgebildet wird.
Anordnung nach einem der Ansprüche 1 oder 2 dadurch gekennzeichnet, dass als Detektor eine zweidimensionale Anordnung aus Fotodioden verwendet wird, auf die mit einem optischen System die Ebenen der Lichtquellen des ersten Beleuchtungssystems abgebildet werden.
Anordnung nach einem der Ansprüche 1 bis 4 dadurch gekennzeichnet, dass ein erstes Bild mit dem ersten Beleuchtungssystem und ein zweites Bild mit dem zweiten Beleuchtungssystem aufgenommen werden und anschließend beide Bilder linear kombiniert werden.
Anordnung nach einem der Ansprüche 1 bis 5 dadurch gekennzeichnet, dass aus der Lage und Form der Augenreflexe die räumliche Position der Augen und die Blickrichtung bestimmt wird.
Anordnung nach einem der Ansprüche 1 bis 6 dadurch gekennzeichnet, dass die Lichtquellen polarisiertes Licht aussenden und der Detektor mit einem polarisierendem Filter versehen wird.