DE68928825T2

DE68928825T2 - Augenfolgeverfahren unter Verwendung eines Bildaufnahmegeräts

Info

Publication number: DE68928825T2
Application number: DE68928825T
Authority: DE
Inventors: Muneo Iida; Kazunori Omura; Akira Tomono
Original assignee: ATR TSUSHIN SYST KENKYUSHO
Current assignee: ATR TSUSHIN SYST KENKYUSHO
Priority date: 1988-07-14
Filing date: 1989-07-14
Publication date: 1999-04-01
Anticipated expiration: 2009-07-15
Also published as: EP0350957A3; EP0350957A2; US5818954A; DE68928825D1; EP0596868A3; DE68926192T2; EP0603157A1; EP0350957B1; EP0596868B1; EP0596868A2; DE68926192D1; EP0603157B1; DE68927275T2; DE68927275D1; US5016282A

Description

Die vorliegende Erfindung bezieht sich auf ein Verfahren des Erfassens einer Blickrichtung. Genauer, die vorliegende Erfindung bezieht sich auf ein Verfahren des Erfassens einer Blickrichtung zum Erfassen einer Augenfixierung auf kontaktlose Weise unter Benutzung von Merkmalspunkten eines Gesichtes, von Pupillen und von Bildern, die von der Hornhaut reflektiert sind usw., die aus den von dem Bildaufnahmegerät aufgenommenen Bildern extrahiert sind.
Kürzlich sind Computer entwickelt worden zum Realisieren komplizierter und verschiedener Funktionen, und ihr Anwendungsgebiet ist weiter und weiter geworden. Nicht nur Fachleute, sondern gewöhnliche Menschen haben die Benutzung von Computern aufgenommen. Zum Erleichtern der Benutzung von Systemen, die kompliziert gewesen sind und immer komplizierter werden, wird die Technologie der Schnittstelle zwischen Mensch und Maschine immer wichtiger. Menschen verständigen sich nicht nur durch die Sprache, sondern auch durch Minenspiele und Gesten, wobei Absichten des Partners angenommen und bestätigt werden, Insbesondere spielt die Augenbewegung eine wichtige Rolle zum Ermöglichen einer guten Kommunikation.
Die Augenbewegung spiegelt sehr die Absichten einer Person wider. Wenn die Bewegung von Blickpunkten auf einem Schirm eines Benutzers, der irgendeinem Anzeigegerät zugewandt ist, kontinuierlich in einer Schnittstelle erfaßt werden könnte, könnte es eine gute Hilfe sein, die Absicht des Benutzers zu kennen. Es kann eine gute Hilfe sein, zu wissen, wo der Benutzer beobachtet, da es dahin führen kann, was der Benutzer beabsichtigt oder worüber er nachdenkt.
Im Hinblick auf das Vorangehende haben die Erfindung der vorliegenden Anmeldung die Wichtigkeit eines effektiven Augenverfolgungsverfahrens zum Realisieren einer Schnittstellenfunktion auf gezeigt, die eine Absicht der Betätigung des Benutzers zum flexiblen Reagieren vermutet und zum Realisieren auf dem Gebiet der intelligenten Kommunikation einer sehr reaktiven und benutzerorientierten visuellen Kommunikation durch Herausziehen eines Objektes des Interesses gemäß der Bewegung der Augen eines Empfängers und durch Rückkupplung derselben zu einem Sender.
Eine Augenkamera ist als das oben beschriebene Augenverfolgungsgerät gut bekannt. Die Augenkamera ist jedoch nicht sehr geeignet zur Benutzung der Bewegung der Augen in einer Schnittstelle zwischen Mensch und Maschine oder bei einer visuellen Kommunikation, da der Benutzer eine Brille tragen muß und der Kopf des Benutzers feststehen muß, damit die Augenfixierung in einem Koordinatensystem eine Anzeige verfolgt werden kann, der der Benutzer zugewandt ist. Ein Verfahren der Erfassung, das Bildverarbeitung benutzt, ist bequemer beim Erfassen der Augenbewegung auf berührungslose Weise ohne die Notwendigkeit des Tragens einer speziellen Vorrichtung.
Fig. 1 zeigt ein Beispiel einer Anordnung eines berührungslosen Augenverfolgungsgerätes. Es wird Bezug genommen auf Fig. 1, Kameras 2, 3 und Beleuchtungsgeräte 4 und 5 sind entsprechend auf beiden Seiten einer Anzeigeeinheit 1 vorgesehen. Bei solch einem berührungslosen Augenverfolgungsgerät ist ein erstes Problem, das gelöst werden muß, das die Bilder eines Benutzers, der durch die Beleuchtungsgeräte 4 und 5 beleuchtet ist, von den Kameras 2 und 3 aufgenommen werden müssen und eine Mehrzahl von Merkmalspunkten herausgezogen werden müssen, die zum Verfolgen der Augenbewegung von den aufgenommenen Bildern notwendig sind, Das zweite Problem ist es, die räumlichen Positionen der Merkmalspunkte bei hoher Geschwindigkeit mit hoher Genauigkeit zu messen. Das dritte Problem ist es, die Richtung der Augenfixierung und der Blickpunkte auf der Anzeigeeinheit auf der Grundlage der Positionen der Merkmalspunkte zu finden.
Da eine Person und insbesondere ihre Augen sich schnell bewegen, müssen klare Bilder aufgenommen werden und die Merkmalspunkte müssen durch eine einfache Bildverarbeitung herausgezogen werden, damit der Bewegung genau gefolgt wird und sie erfaßt wird. Bei der tatsächlichen Anwendung jedoch in einem Zimmer ändert sich die Beleuchtung des Benutzers, da die Reflexion von Licht von der Anzeigeeinheit durch externe Beleuchtungen wie eine Leuchtstoffröhre beeinflußt wird, so daß Bilder guter und gleichförmiger Qualität nicht immer vorgesehen werden können. Wenn die eingegebenen Bilder in der Qualität schlechter sind, dauert es lange, das Rauschen zu verringern, und folglich kann ein schneller Betrieb nicht erwartet werden.
Eine Person, die das aufzunehmende Objekt ist, kann beleuchtet werden, damit das oben beschriebene Problem gelöst wird. Solch eine Beleuchtung hat jedoch die folgenden Nachteile. Zuerst ist es schwierig, eine natürliche Umgebung für die Schnittstelle vorzusehen. Genauer gesagt, Glühlampen, Xenonlampen und Halogenlampen sind gut bekannt als Beleuchtungsgeräte, die einen weiten Bereich von Wellenlänge aufweisen und deren Verteilung auf dem sichtbaren Wellenlängenbereich zentriert ist. Daher ist es nicht sehr gut, den Benutzer von vorn zum Vorsehen einer natürlichen Schnittstelle zu beleuchten.
Zweitens wird das Gerät sehr groß und viel Wärme erzeugt. Damit nämlich die Bedingungen der Beleuchtung der herkömmlichen Beleuchtungsgeräte im Hinblick auf die Aufwendung auf die Schnittstelle verbessert wird, müssen optische Teile wie ein Bandpaßfilter und ein Polarisator vor der leuchtenden Lichtquelle angebracht werden. Wenn zum Beispiel eine Beleuchtung im nahen Infraroten, die von einem Mensch nicht erfaßt werden kann, benutzt wird zum Auffangen des reflektierten Lichtes, müssen sichtbare Lichter unterbrochen werden. Die oben erwähnten herkömmlichen Beleuchtungsgeräte weisen jedoch eine niedrige Effektivität beim Emittieren von Licht auf und viel Wärme wird von ihnen erzeugt. Folglich wird die Temperatur um das Gerät höher, Folglich kann das Gerät nicht kompakt gemacht wer den, indem zum Beispiel eine Lichtquelle und die optischen Elemente einstückig vorgesehen werden, so daß unausweichlich ein großes Beleuchtungsgerät benutzt werden muß.
Drittens, obwohl die Beleuchtung bei dem Herausziehen von Merkmalspunkten effektiv ist und klarer Bilder vorgesehen werden können, wenn die Beleuchtung richtig benutzt wird, wird die Beleuchtung eine Rauschquelle und sieht einen gegenteilhaftigen Effekt vor, wenn die Beleuchtung nicht richtig benutzt wird. Eine detaillierte Beschreibung wird im folgenden unter Benutzung eines Falles des Herausziehens von Merkmalspunkten einer Person oder der Augen als ein Beispiel gegeben.
Fig. 2 zeigt ein Beispiel eines Experimentes zum Herausziehen von blauen Markierungen entsprechend eines Gesichtes einer Person unter Benutzung eines herkömmlichen Beleuchtungsgerätes und des Bildaufnahmegerätes. Fig. 3A und 3B zeigen ein Beispiel des Herausziehens von Merkmalspunkten des Gesichtes, das durch das in Fig. 2 gezeigte Experiment vorgesehen wird.
Blaue Markierungen 6 sind an vier Abschnitten des Gesichtes angebracht, wie in Fig. 3A gezeigt ist. Referenzlicht 9 wird von dem Beleuchtungsgerät 8 zu einem Objekt 10 emittiert, wie in Fig. 2 gezeigt ist, das von dem Objekt reflektierte Licht wird durch eine Kamera 13 aufgefangen, eine blaue Komponente wird von dem aufgenommenen Bild herausgezogen und einer Schwellenabschätzung unterworfen. Wie aus Fig. 3B ersichtlich ist, werden sowohl Rauschkomponenten 7 als auch blaue Markierungen 6 aufgenommen. Der Grund dafür ist wie folgt. Wenn nämlich das Objekt 10 durch das Referenzlicht 9 beleuchtet wird, kann das davon reflektierte Licht in weiterem Sinne in zwei Komponenten zerlegt werden. Eine ist das Licht 11, das von Oberfläche des Objektes 10 zerstreut und reflektiert wird, was die optische Natur des das Licht reflektierenden Materiales wiedergibt. Daher ist diese Komponente effektiv beim Herausziehen von Merkmalspunkten wie Teile des Gesichtes (Mund, Augenwimper, Nase usw.) und der Pupille mit der Ausnahme der Bilder, die von der Horn haut reflektiert werden, aus den Merkmalspunkten, die bei dem Augenverfolgen notwendig sind. Die andere ist die Komponente 12, die regelmäßig von der Oberfläche des Objektes 10 reflektiert wird, die die optische Natur der Lichtquelle wiedergibt. Die Komponente 12 gibt nicht die Natur des Objektes 10 wider, so daß sie dazu neigt, rauschbehaftet zu sein. Die letztere Komponente ist viel in glatten Abschnitten des Objektes 10 enthalten. Genauer gesagt, wenn das Objekt eine Person ist, bilden Schweiß auf dem Gesicht, Brillengestell, Brillen, Kunststoffe und Gläser um die Person usw. solche glatte Abschnitte. In dem in Fig. 34B gezeigten Beispiel entspricht das Rauschen 7 dem Schweiß.
Bei dem in Fig. 3A und 3B gezeigten Beispiel werden blaue Markierungen, die auf dem Gesicht angebracht sind, herausgezogen. Das Vorangehende wird ähnlich angewendet, wenn Markierungen verschiedener Farben benutzt werden und die Farbkomponenten herauszuziehen sind. Die regulär reflektierte Komponente 12 wird in meisten Fällen rauschbehaftet, wenn solche Abschnitte wie Augen, Nase, Mund und Augenwimpern von dem natürlichen Bild ohne die Benutzung von Markierungen herausgezogen werden. Eine sogenannte aktive Stereovision wird als ein anderes Verfahren zum Erfassen der Form eines Gesichtes ohne die Benutzung von Markierungen benutzt, Moire-Typographie und Spaltstrahlenverfahren sind die Repräsentativen solch eines Verfahrens, bei dem das Objekt mit einem vorgeschriebenen gesteuerten Formmuster beleuchtet wird, Schwellenwertbilder (reflektierte Muster) von den reflektierten Bildern herausgezogen werden und die dreidimensionale Form des Objektes unter Benutzung des Merkmales des reflektierten Musters entsprechend dem herausgezogenen Muster gemessen wird. Wenn das Objekt dazu neigt. Regulärlicht zu reflektieren, werden auch bei diesem Verfahren Bilder, die durch reguläre Reflexion gebildet werden, rauschbehaftet, wodurch es schwierig wird, genau die reflektierten Muster herauszuziehen, die die Merkmale des Objektes sind.
Probleme im Zusammenhang mit der Anordnung des herkömmlichen Beleuchtungsgerätes und der Effektivität des Herausziehens eines Pupillenmerkmalpunktes werden im folgenden beschrieben. Damit eine Augenfixierung eines Benutzers, der keine spezielle Vorrichtung trägt, erfaßt wird, muß eine Mehrzahl von Merkmalspunkten durch Bildverarbeitung herausgezogen, wie später beschrieben wird. Eine Pupille ist eine Öffnung in der Iris, die im allgemeinen dunkel aussieht. Daher muß, wenn die Iris dunkelbraun ist, die Pupille von der Iris unterschieden werden, damit sie herausgezogen werden kann. Die Pupille ist ein guter Merkmalspunkt, der weithin angewendet wird, da die Größe der Pupille angenehm ist, sie nicht sehr durch die Bewegung des Augenlides beeinflußt wird und sie bequem bei der Umwandlung auf die Augenfixierung ist. Das Herausziehen der Pupille wurde in einer Augenkamera usw. durchgeführt, und eine Zahl von Verfahren zum Herausziehen einer Pupille ist bekannt gewesen. Solche Verfahren sind zum Beispiel offenbart in dem US-Patent 4.102.564, US-Patent 4.145.122, US-Patent 3.689.135, US-Patent 4.074.657, US-Patent 4.755.045, US-Patent 4.303.394, US-Patent 4.651.145 und US-Patent 4702.575. Bei einem Typ von Augenkameras ist eine Lichtquelle in Brillen eingebaut zum Erleuchten der Augäpfel, und das reflektierte Licht wird zum Messen der Intensität des reflektierten Lichtes von der Pupille und von der Iris aufgenommen. Bei einem Gerät wie eine Augenkamera, die an dem Kopf von jemanden angebracht ist, ist der Abstand zwischen dem Beleuchtungsgerät und dem Bildaufnahmegerät klein, und das Gerät bewegt sich entsprechend der Bewegung des Kopfes. Daher müssen die Beleuchtungsgeräte nur die Augäpfel beleuchten und die Bildaufnahmegeräte müssen nur die Bilder der Aufäpfel aufnehmen. Daher ist der Einfluß von Rauschen klein, und die Pupille kann in Abhängigkeit von nur der Differenz in der Intensität des reflektierten Lichtes von der Pupille und der Iris herausgezogen werden.
Die Augenverfolgung für die Anwendung auf die Schnittstelle muß jedoch in berührungsloser Weise durchgeführt werden, wie oben beschrieben wurde. Daher sollten nicht nur die Abschnitte der Augäpfel, sondern ein weiter Bereich genommen werden, der das Verfolgen einer Bewegung in einem Abstand ermöglicht. Zum Beispiel muß ein Verfahren zum Herausziehen der Pupillen aus dem Bild des Gesichtes von jemanden überlegt werden. In solch einem Fall ist es schwierig, die Pupillen von dem Hintergrundrauschen durch die oben beschriebenen Verfahren herauszuziehen.
Fig. 4 zeigt ein anderes Verfahren zum Herausziehen der Pupille, bei dem das Licht in die Pupille eintritt und das von der Netzhaut reflektierte Licht aufgenommen wird. Es wird Bezug genommen auf Fig. 4, ein Halbspiegel 23 ist auf einer optischen Achse 22 eines Aufnahmeobjektives 21 einer Kamera 20 vorgesehen, und ein herkömmliches Beleuchtungsgerät 24 ist so angeordnet, daß seine optische Achse mit der optischen Achse 22 mittels des Halbspiegels 23 übereinstimmt. Damit die Verteilung der reflektierten Intensität von der Pupille unter Benutzung eines Beleuchtungsgeräte mit nur einer Lichtquelle gleichmäßig gemacht wird, das heißt damit ein Bild der Pupille mit geringer Unebenheit der Intensität erhalten wird, ist die Benutzung des Halbspiegels 23 wesentlich.
Ein Filter 25 zum Abschneiden sichtbarer Wellenlänge ist vor dem Beleuchtungsgerät 24 vorgesehen. Die Komponente sichtbarer Wellenlänge des Lichtes von dem Beleuchtungsgerät 24 wird durch diesen Filter 25 abgeschnitten, und der verbleibende Teil des Lichtes trifft auf die optische Achse 22 des Objektives 21 zum Beleuchten des Benutzers 26. Das Licht tritt in die Pupille des Benutzers 26 ein, wird von der Netzhaut reflektiert, geht durch den Halbspiegel 23, so daß es von der Kamera 20 aufgenommen wird. Daher wird die Pupille heller genommen als die Iris.
Das in Fig. 4 gezeigte Verfahren hat jedoch die folgenden Nachteile. Das Gerät wird nämlich groß, da es einen Halbspiegel 23 einsetzt. Wenn der Bereich der Bildaufnahme nicht nur die Abschnitte nahe den Augäpfeln sind, sondern breiter sind und zum Beispiel das Gesicht selbst enthalten, wird der Einfluß des Rauschens groß selbst bei diesem Verfahren, wodurch es schwie rig wird, die Pupillen richtig herauszuziehen. Damit der Einfluß des Rauschens verringert wird, kann die Intensität der Beleuchtung vergrößert werden. Dieses ist jedoch nicht sehr effektiv, da die Intensität des Lichtes durch den Filter 25 zum Abschneiden sichtbarer Wellenlängen verringert wird, weiter wird es auf - durch den Halbspiegel 23 verringert, und das reflektierte Licht wird weiter auf 1/2 durch den Halbspiegel 23 verringert, das heißt viel des Lichtes von dem Beleuchtungsgerät 24 ist verloren zu dem Zeitpunkt, in dem es von der Kamera 20 aufgefangen wird, wenn die Intensität der Beleuchtung vergrößert wird, wird viel Leistung verbraucht und viel Wärme erzeugt. Damit andere Einflüsse verringert werden, müssen unter Umständen entsprechende Teile getrennt voneinander angebracht werden, was weiter zu einer Vergrößerung in der Größe des Gerätes führt. Wenn die Beleuchtung zu intensiv ist, wird eine physiologische Last auf die Augen des Benutzers ausgeübt. Daher ist für dieses Verfahren auch nicht geeignet, an der Seite der Anzeigeeinheit für die Anwendung auf die Schnittstelle angebracht zu werden.
Ein von einer Hornhaut reflektiertes Bild ist das virtuelle Bild, das von dem regulär von der konvexen Oberfläche der Netzhaut reflektierten Licht gebildet wird, und es bewegt sich in die gleiche Richtung wie die Augäpfel gemäß der Bewegung der Augenfixierung. Daher ist es einer der Merkmalspunkte, der notwendig zum Augenverfolgen ist. Ein Problem bei dem Herausziehen ist das Trennen von dem Hintergrundrauschen.
Fig. 5 zeigt ein Beispiel eines Gerätes, das Bilder durch eine Kamera aufnimmt, die von der Hornhaut reflektiert sind. Es wird Bezug genommen auf Fig. 5, wenn Licht von einer Referenzlichtquelle 31 Augen eines Benutzers 30 beleuchtet, werden Bilder, die von der Hornhaut reflektiert sind, die notwendig für die Augenverfolgung sind, von der Kamera 32 aufgenommen. Es tritt jedoch nicht nur das Licht von der Referenzlichtquelle 31, sondern auch von der Anzeigeeinheitenoberfläche der Anzeigeneinheit 33 und von einer externen Beleuchtung 34 wie eine Leucht stoffröhre in die Augen des Benutzers 30, welches von der Hornhaut zum Vorsehen virtueller Bilder reflektiert wird. Daher gibt es verschiedene Bilder, die von der Hornhaut in dem Augapfel reflektiert sind, die das Rauschen darstellen, was es schwierig macht, die Bilder zu extrahieren, die von der Netzhaut reflektiert sind, die durch Licht von der Referenzlichtquelle 31 gemacht sind.
Wenn ein bewegendes Objekt wie eine Person oder Augen zu fotografieren ist, sollte die Belichtungszeit so klein wie möglich sein, damit Bilder ohne Verwackelung vorgesehen werden. Eine Kamera mit einem elektrischen Verschluß ist kürzlich in Benutzung gekommen. Solche Kameras mit kurzer Belichtungszeit benötigen intensive Beleuchtung. Wenn jedoch ein herkömmliches Beleuchtungsgerät zum Beleuchten des Benutzers in der Schnittstelle benutzt wird, wird der Benutzer der Wärme eines intensiven Lichtes während einer langen Zeitdauer ausgesetzt, was die Augen oder den Körper des Benutzers beeinflussen kann.
Inzwischen sind Stereosichtmessungen in dem Feld der Messungen räumlicher Positionen der Merkmalspunkte bekanntgeworden. Da jedoch das Herausziehen der Merkmalspunkte schwierig war, wie oben beschrieben wurde, ist bis jetzt keine Echtzeitmessung der räumlichen Positionen der Merkmalspunkte auf dem Gesicht oder der Augäpfel durchgeführt, falls die Benutzung für die Schnittstelle in Betracht gezogen wurde.
Einige Verfahren sind für das Augenverfolgen durch Bildverarbeitung vorgeschlagen worden. Es müssen jedoch verschiedene Bedingungen zum Anwenden einer jeglichen dieser Verfahren zum Augenverfolgen befriedigt sein, und daher ist das Anwendungsgebiet beschrankt, da effektives Herausziehen der Merkmalspunkte schwierig ist und Hochgeschwindigkeitserfassung der räumlichen Positionen mit jeder dieser Verfahren schwierig ist. In den meisten dieser Verfahren wird eine Schwarz/Weiß-Kamera eingesetzt. Ein solches Beispiel wird im folgenden beschrieben.
Fig. 6 stellt ein Verfahren zum Erfassen der Iris und der Pupille in dem Weißen des Auges auf einem aufgenommenen Bild zum Erfassen der Augenfixierung unter Benutzung dergleichen dargestellt. Es wird Bezug genommen auf Fig. 6, das Gesicht einer Person wird durch eine Kamera 41 aufgenommen, der Abschnitt 42 des Auges wird von dem aufgenommenen Bild des Gesichtes herausgezogen, und der dunkle Abschnitt 43 und das Weiße in dem Auge werden voneinander getrennt. Danach werden die Länge a des Weißen 44 und die Länge x von einer Kante des Weißen 44 zu der Mitte des dunklen Abschnittes 43 berechnet. Die Richtung der Augenfixierung ist ungefähr proportional zu x/a. Da der Vorgang zum Herausziehen des Weißen 44 und des dunklen Abschnittes 43 des Auges schwierig mit einer hohen Geschwindigkeit durchzuführen ist, ist Echtzeiterfassung bis jetzt nicht realisiert. Bei diesem Verfahren ist der Freiheitsgrad auf die Rotationsbewegung des Augapfels beschränkt, wenn nicht die Position und die Richtung des Gesichtes durch die eine oder andere Methode berechnet werden. Die Genauigkeit bei der Erfassung der Rotation des Augapfels ist nicht sehr hoch, da sich die Größe des Auges ändert, wenn der Benutzer seinen Ausdruck ändert. Die Aufwärts- und Abwärtsbewegung des Auges ist besonders eigenartig und kompliziert, da sich der dunkle Abschnitt 43 durch die Bewegung des Augenlides beeinflußt ändert.
Fig. 7 stellt ein Verfahren zum Erfassen der Pupille und der Bilder, die von der Hornhaut reflektiert sind, als Merkmalspunkte durch eine Kamera dar. Es wird Bezug genommen auf Fig. 7, die Position einer Referenzlichtquelle 51 wird als bekannt in Zusammenhang mit dem Koordinatensystem der Kamera 50 angenommen. Die räumliche Position des Bildes 53, das von der Netzhaut reflektiert ist und durch das Referenzlicht von der Referenzlichtquelle 51 erzeugt ist, und die räumliche Position der Pupille 54 unabhängig auf der Grundlage der Position des Rotationszentrums des Augapfels 52 und der Rotationswinkel α und β in die Richtung des Augapfels nach oben, nach unten, nach links und nach rechts bestimmt. Wenn daher die Position des Bildes, das von der Hornhaut reflektiert ist, die Position der Pupille 54, der Radius a des Augapfels, der ein struktureller Parameter des Augapfels 52 ist, der Krümmungsradius c der Hornhaut und der Abstand b zwischen der Mitte des Augapfels zu dem Krümmungsmittelpunkt der Hornhaut bekannt sind, werden das Rotationszentrum des Augapfels 52 und der Rotationswinkel des Augapfels 52 bestimmt, und folglich kann die Augenfixerung bestimmt werden. Die Position des Bildes 53, das von der Hornhaut reflektiert ist, und der Pupille 54 können aus einem projizierenden Bild erhalten werden, indem eine Bedingung geschaffen wird, daß der Abstand von der Kamera zu dem Augapfel 52 ungefähr konstant ist. Auf diese Weise können die Augenfixierung in Zusammenhang mit dem Rotationswinkel α nach links und nach rechts und des Rotationswinkels β nach oben und nach unten des Augapfels 52 erfaßt werden. Die Genauigkeit der Erfassung wird jedoch niedriger, wenn sich das Gesicht in die Richtung der z- Achse aus der oben beschriebenen Bedingung bewegt.
Bei den in Fig. 6 und 7 gezeigten Beispielen ist es schwierig, den Blickpunkt zu erfassen, da nur eine Kamera eingesetzt wird. Wenn eine der oben beschriebenen Verfahren auf die Schnittstelle anzuwenden ist, ist es notwendig, zu wissen, auf welchen Punkt der Anzeigeeinheit der Benutzer blickt. Daher muß der Blickpunkt in dem Anzeigeneinheitenkoordinatensystem vorgesehen werden. Damit der Blickpunkt des Benutzers in dem Anzeigeneinheitenkoordinatensystem bekannt ist, ist es notwendig, daß der Benutzer auf einen vorbestimmten Punkt blickt.
Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum Erfassen einer Blickrichtung vorzusehen, das die Bewegung einer Augenfixierung eines Benutzers auf kontaktfreie Weise ohne die Benutzung irgendeiner speziellen Einrichtung auf dem Benutzer auf der Grundlage von Bildern von dem Objekt erfassen kann, das von dem Bildaufnahmegerät aufgenommen wird.
Es ist eine noch weitere Aufgabe der vorliegenden Erfindung, ein Verfahren des Erfassens einer Blickrichtung vorzusehen, das Augenfixierung mit hoher Geschwindigkeit und mit hoher Genauig keit erfassen kann, während eine freie Bewegung des Kopfes des Benutzers erlaubt ist.
Es ist eine noch weitere Aufgabe der vorliegenden Erfindung, ein Verfahren des Erfassens einer Blickrichtung vorzusehen, bei dem ein Blickpunkt auf einem Anzeigenkoordinatensystem erfaßt werden kann, den der Benutzer tatsächlich betrachtet, und bei dem keine Kalibration auf eine einfache Weise zu der Zeit der Erfassung ausgeführt werden kann.
Diese Aufgaben werden gelöst durch das Verfahren, wie es in Anspruch 1, 2 oder 3 angegeben ist.
Bevorzugte Ausgestaltungen der Erfindung sind in den Unteransprüchen angegeben.
Bei dem Verfahren zum Augenverfolgen gemäß der vorliegenden Erfindung wird die Augenfixierung durch zwei von den drei folgenden Merkmalssätzen erfaßt: Die Position und die Richtung des Gesichtes, die Position der Pupille und das von der Hornhaut reflektierte Bild; so daß die Zahl von Parametern zur Kalibrierung zum Erfassen des Blickpunktes des Benutzers klein ist. Daher kann die Kalibrierung auf einfache Weise ausgeführt werden, die Genauigkeit der Erfassung ist hoch und die Belastung für den Benutzer ist klein.
Gemäß der vorliegenden Erfindung kann durch Erfassen der Position und der Richtung des Kopfes die Position des Zentrums des Augapfels in Zusammenhang mit dem Meßkoordinatensystem erhalten werden. Nur ein konstanter Vektor in Näherung wird als Parameter, der notwendig für den Vorgang ist, benötigt, so daß die Kalibrierung in einer einfachen Weise ausgeführt werden kann, und die Richtung der Augenfixierung kann unabhängig von der Bewegung des Kopfes des Benutzers auf kontaktfreie Weise durch Ermitteln des Zentrums des Augapfels und der räumlichen Position der Pupille erfaßt werden. Da die Zahl von Parametern für die Kalibrierung gleich ist, kann die Genauigkeit erhöht wer den. Zusätzlich kann die Richtung der Augenfixierung von zwei Augen unabhängig vorgesehen werden, daher kann die Überlappung der Richtung der Augen erfaßt werden und folglich die Augenfixierung kann nicht nur auf einer ebenen sondern dreidimensional erfaßt werden. Zusätzlich kann bei dem Vorgang des Erfassens der Augenfixierung die Fläche der Pupille erfaßt werden, so daß die Richtung der Augenfixierung als auch die Ausdehnung der Pupille gleichzeitig erfaßt werden können.
Gemäß der vorliegenden Erfindung kann unter Benutzung dreier Punkten an dem Kopf als ein Modell die Position und die Richtung des Kopfes auf der Grundlage von drei Punkten auf dem Gesicht erfaßt werden. Wenn diese drei Punkte zuvor bestimmt werden, kann die Extrahierung dieser drei Punkte durch Anbringung von Markierungen auf diesen Punkten erleichtert werden, wodurch die Erfassung der Augenfixierung mit hoher Geschwindigkeit möglich ist. Bei einer bevorzugten Ausführungsform werden Markierungen, deren Merkmale leicht extrahiert werden können, an mindestens drei Abschnitten auf einem Brillenrahmen angebracht, und der Kopf wird in ein Modell durch die Markierungen gewandelt, wenn der Benutzer die Brille trägt. Die Position und die Richtung des Kopfes kann gemäß den Positionen der Markierungen erfaßt werden. Daher kann der Kopf in ein Modell schon durch Vorsehen der Markierungen auf Brillen umgewandelt werden, wodurch die Position des Kopfes auf eine einfache Weise erfaßt werden kann. Die Position des Kopfes kann genau so lange erkannt werden, wie die Brille auf dem Gesicht sitzt, und daher kann die Augenfixierung auf eine einfache Weise mit hoher Genauigkeit erkannt werden.
Referenzlicht kann in das Auge eintreten, die Position und Richtung des Kopfes werden aus dem aufgenommenen Bild erfaßt, die erfaßte Position des Kopfes wird bewegt und gedreht, die Position des Zentrums des Augapfels, die von der Drehbewegung des Augapfels unabhängig ist und in der Position stabil ist, wird erfaßt, die Position des von der Hornhaut reflektierten Bildes, das von dem Referenzlicht erzeugt wird, wird aus dem aufgenommenen Bild erfaßt, und die Augenfixierung wird gemäß den erfaßten Positionen des Zentrums des Augapfels und des von der Hornhaut reflektierten Bildes erfaßt.
Daher kann gemäß der vorliegenden Erfindung durch Erfassen von räumlichen Positionen des Zentrums des Augapfels und des von der Hornhaut reflektierten Bildes die Richtung der Augenfixierung auf kontaktfreie Weise unabhängig von der Bewegung des Kopfes des Benutzers erfaßt werden.
Die vorangehenden und weiteren Aufgaben, Merkmale, Aspekte und Vorteile der vorliegenden Erfindung werden ersichtlicher aus der folgenden detaillierten Beschreibung der vorliegenden Erfindung, wenn sie in Zusammenhang mit den begleitenden Zeichnungen genommen wird.
Fig. 1 zeigt ein Beispiel eines herkömmlichen berührungslosen Augenverfolgungsgerätes;
Fig. 2 zeigt ein Beispiel eines Experimentes zum Herausziehen blauer Markierungen als Merkmalspunkte auf einem Gesicht einer Person unter Benutzung eines herkömmlichen Beleuchtungsgerätes und Bildaufnahmegerätes;
Fig. 3A und 3B zeigen Beispiele des Herausziehens von Merkmalspunkten des Gesichtes, die durch das in Fig. 2 gezeigte Experiment vorgesehen werden;
Fig. 4 zeigt ein anderes Verfahren zum Herausziehen von Pupillen, bei dem Licht durch die Pupille eintritt und das an der Netzhaut reflektierte Licht genommen wird;
Fig. 5 zeigt ein Beispiel eines Gerätes, bei dem ein von der Hornhaut reflektiertes Licht von einer Kamera aufgenommen wird;
Fig. 6 stellt ein Verfahren zum Erfassen einer Position eines dunklen Abschnittes eines Auges auf einem aufgenommenen Bild zum Erfassen der Augenfixierung unter Benutzung desselben dar;
Fig. 7 stellt ein Verfahren zum Herausziehen der Pupille und des von der Hornhaut reflektierten Bildes als Merkmalspunkte durch eine Kamera dar;
Fig. 8 zeigt das Konzept dieser Merkmalsherausziehung;
Fig. 9 zeigt verschiedene Typen und Arten von Merkmalspunkten, die zur Erkennung der Augenfixierung notwendig sind;
Fig. 10 zeigt ein Bildaufnahmegerät;
Fig. 11 ist eine Frontansicht der in Fig. 10 gezeigten Aufnahmelinse;
Fig. 12 ist eine Seitenansicht der Aufnahmelinse;
Fig. 13 zeigt optische Eigenschaften der optischen Teile, die eingesetzt werden;
Fig. 14 ist eine perspektivische Ansicht, die ein Beispiel eines Beleuchtungsgerätes zeigt, das eine lichtemittierende Diode und einen Polarisator aufweist, die als eine Einheit vorgesehen sind;
Fig. 15A zeigt ein diffus reflektiertes Bild, das von einem Bildaufnahmegerät aufgenommen ist, und Fig. 15B zeigt die Effekte des Herausziehens von Merkmalspunkten;
Fig. 16A bis 16C zeigen Beispiele des Herausziehens des von der Hornhaut reflektierten Bildes;
Fig. 17, 18A, 18B, 18C und 19 stellen eine Anordnung von Lichtquellen dar, durch die die Pupille heller aufgenommen wird;
Fig. 20A bis 20C zeigen Beispiele der Bilder, die durch das in Fig. 10 gezeigte Gerät aufgenommen sind;
Fig. 20 zeigt ein Beispiel einer Markierung, die an dem Gerät einer Ausführungsform der vorliegenden Erfindung angebracht ist;
Fig. 21 zeigt ein Beispiel einer an dem Gerät angebrachten Markierung;
Fig. 22 ist eine Querschnittsansicht, die ein anderes Beispiel der Markierung zeigt;
Fig. 23 zeigt Bildaufnahmegerät mit einem elektrischen Verschluß;
Fig. 24 und 25 zeigen Antriebszeitpunkte des Bildaufnahmegerätes und des Beleuchtungsgerätes, die in Fig. 23 gezeigt sind;
Fig. 26A ist ein schematisches Blockschaltbild, das eine Gesamtstruktur eines Bildverarbeitungsgerätes zeigt, das in Echtzeit Merkmalspunkte erkennt durch Benutzen des Bildaufnahmege rätes, und Fig. 26D ist ein spezielles Blockschaltbild des in Fig. 26A gezeigten Bildverarbeitungsgerätes;
Fig. 27, 28 und 29 zeigen Beispiele eines Bildaufnahmegerätes, das auf ein aktives Stereosehmeßverfahren angewendet ist Fig. 30 zeigt schematisch den Aufbau eines Auges;
Fig. 31 stellt das Stereosehmessen dar;
Fig. 32 und 33 stellen ein Verfahren zum Erfassen einer dreidimensionalen Position eines Bildes dar, das von zwei willkürlich gesetzten Kameras gemäß einem Weltkoordinatensystem aufgenommen wird;
Fig. 34 zeigt eine Ausführungsform des Augenverfolgens;
Fig. 35 stellt eine Koordinatentransformation einschließlich der Bewegung des Nullpunktes und der Drehung der Koordinatenachse dar;
Fig. 36 entspricht Fig. 34, wobei der Nullpunkt des Weltkoordinatensystemes, der der Merkmalspunkt P&sub1; des Gesichtes ist, bewegt ist;
Fig. 37 zeigt ein Zustand des gedrehten Weltkoordinatensysteme 5;
Fig. 38 stellt den Vektor des Zentrums des Augapfels an dem Kopfkoordinatensystem dar;
Fig. 39 zeigt einen Fall, in dem das Zentrum des Augapfels nicht auf einem Segment vorhanden ist, das die Pupille und die Fovea verbindet;
Fig. 40 zeigt ein Beispiel eines Kopfmodelles unter Benutzung von einer Brille mit Markierungen;
Fig. 41 zeigt einen in ein Modell gewandelten Kopf mit vier Punkten;
Fig. 42A und 42B zeigen ein Beispiel zum Erfassen eines statischen virtuellen Merkmalspunktes aus zwei Merkmalspunkten und
Fig. 43 stellt eine andere Ausführungsform einer Augenverfolgung dar.
Fig. 8 zeigt das Konzept der Merkmalsherausziehung und Fig. 9 zeigt Typen und Eigenschaften der Merkmalspunkte, die für die Augenverfolgung notwendig sind.
Zuerst wird Bezug genommen auf Fig. 8 und 9, das Konzept der Merkmalsherausziehung wird beschrieben. Ein Gesichtsbild wird durch eine Kamera 60 aufgenommen, und Merkmalspunkte, die den Kopf reflektieren, und Merkmalspunkte der Augen werden aus den Bildsignalen herausgezogen, die die Ausgangssignale von der Kamera 60 sind. Der laterale Winkel des Auges, der mediale Winkel des Auges, die Lippe usw. können durch die Farbdifferenz als die Merkmalspunkte, die den Kopf widerspiegeln, erkannt werden, wie in Fig. 2 gezeigt ist. Die Merkmalspunkte des Auges sind das Bild, das an der Hornhaut reflektiert ist, der dunkle Abschnitt des Auges und die Pupille. Das von der Hornhaut reflektierte Bild ist das virtuelle Bild, das von dem regulär an der konvexen Oberfläche der Hornhaut reflektierte Licht gebildet wird, das sich in die gleiche Richtung wie der Augapfel im Verhältnis zur der Bewegung der visuellen Achse bewegt. Der dunkle Abschnitt des Auges kann durch die Differenz in der Intensität der Reflexion zwischen der Iris und der Hornhaut überwacht werden. Die Bewegung des dunklen Abschnittes kann nur durch die Zimmerbeleuchtung mit einem Referenzlicht herausgezogen werden. Die Pupille kann durch die Differenz in der Intensität des Lichtes, das von der Hornhaut und an der Iris und an dieser Öffnung reflektiert wird, erkannt werden, und die Pupille wird nicht sehr durch die Bewegung des Augenlides beeinflußt.
Die Position und die Richtung des Kopfes werden aus den herausgezogenen Merkmalspunkten bestimmt, die von dem Kopf reflektiert werden, und die Resultate werden in die Position der Mitte des Augapfels umgewandelt. Weiterhin werden die Mitte der Pupille und die Mitte des dunklen Abschnittes aus den herausgezogenen Merkmalspunkten des Auges erfaßt, und die Richtung der Augenfixierung wird als Reaktion auf das Resultat und die Position der Mitte des Augapfels erkannt, die durch Umwandlung zur Verfügung gestellt wird.
Der Kopf wird in ein Modell gewandelt. Das Umwandeln in das Modell wird ausgeführt, indem mindestens drei Merkmalspunkte des Gesichtes benutzt werden, an denen sich die Haut nicht sehr be wegt. Die Position und die Richtung des Kopfes werden auf der Grundlage der Positionen der entsprechenden Merkmalspunkte auf dem Gesicht erkannt.
Bei dem Umwandeln des Kopfes in ein Modell werden mindestens drei virtuelle Merkmalspunkte, die relativ statisch sind, von mindestens vier oder mehr Merkmalspunkten auf dem Gesicht herausgenommen, und die Position und die Richtung des Kopfes werden auf der Grundlage der Positionen der virtuellen Merkmalspunkte erfaßt.
Markierungen, deren Merkmale leicht herausgezogen werden können, werden an mindestens drei Abschnitten eines Brillengestelles angebracht, der Kopf wird in das Modell unter Benutzung der Markierungen umgewandelt, wenn der Benutzer die Brille trägt, und die Position und Richtung des Kopfes werden auf der Grundlage der Positionen der Markierungen erkannt.
Fig. 10 zeigt ein Bildaufnahmegerät, das bei der vorliegenden Erfindung verwendet werden kann, Fig. 11 ist eine Frontansicht des in Fig. 10 gezeigten Aufnahmeobjektives und Fig. 12 ist eine Seitenansicht des Aufnahmeobjektives.
Es wird Bezug genommen auf Fig. 10, ein Beleuchtungsgerät 61 und ein Objektiv 65 sind in Front einer Kameraeinheit 60 angeordnet. Das Beleuchtungsgerät 61 weist lichtemittierende Dioden 66 auf, die um das Objektiv angeordnet sind, wie in Fig. 11 gezeigt ist. Ein linearer Polarisator 63 ist in Front der lichtemittierenden Dioden 66 angeordnet, und ein Abschneidefilter 68 für sichtbare Wellenlängen ist in Front des Objektives 45 angeordnet. Der lineare Polarisator 63 polarisiert das von den lichtemittierenden Dioden 66 emittierte Licht, und der Abschneidefilter für sichtbare Wellenlängen schneidet das sichtbare Licht ab, das von einer externen Beleuchtung wie einer Leuchtstoffröhre emittiert ist. Ein Beleuchtungsapparat 62 ist an einer Position entfernt von der optischen Achse des Objektives 65 angeordnet. Der Beleuchtungsapparat 62 weist lichtemit tierende Dioden 64 und einen linearen Polarisator 67 auf, der davor vorgesehen ist.
Die Kameraeinheit 60 weist drei Prismen 607, 608 und 609 auf. Eine Wellenlängen trennende Ebene 610 ist zwischen den Prismen 607 und 608 gebildet, und ein Halbspiegel 611 ist zwischen den Prismen 608 und 609 angeordnet. Ein Polarisator 615 und ein CCD-Bildaufnahmeelement 412 sind der lichtemittierenden Oberfläche des Prismas 607 zugewandt angeordnet. Ein CCD- Bildaufnahmeelement 614 ist der lichtemittierenden Oberfläche des Prismas 608 zugewandt angeordnet, und ein Polarisator 616 und ein CCD-Bildaufnahmeelement 613 sind der lichtemittierenden Oberfläche des Prismas 609 zugewandt angeordnet. Die polarisierenden Oberflächen der Polarisatoren 615 und 616 stehen senkrecht zu den linearen Polarisatoren 63 und 67, die in Front der Beleuchtungsgeräte 61 und 62 vorgesehen sind. Die Ausgangssignale der CCD-Bildaufnahmeelemente 613 und 614 werden an ein Bildsubtraktionsbetriebsmittel 617 angelegt, indem das von der Hornhaut reflektierte Bild herausgezogen wird. Die Ausgangssignale der CCD-Bildaufnahmeelemente 612 und 613 werden an ein Subtraktionsbetriebsmittel 618 angelegt, indem die Pupille herausgezogen wird.
Fig. 13 ist ein Diagramm, das die optischen Eigenschaften der optischen Teile zeigt, die in einem Bildaufnahmegerät eingesetzt werden. Nahes Infrarotlicht, das nicht von dem Auge von jemandem erfaßt werden kann, wird für die lichtemittierenden Dioden 64 und 66 benutzt, die in den Beleuchtungsgeräten 61 und 62 eingesetzt werden, die in Fig. 10 gezeigt sind. Bei dieser Ausführungsform beträgt die Wellenlänge λ1 der lichtemittierenden Diode 64 gerade 850 nm, während die Wellenlänge λ2 der lichtemittierenden Diode 66 gerade 950 nm beträgt. Die Wellenlängeneigenschaften der lichtemittierenden Dioden 64 und 66 sind durch (1) und (2) in Fig. 13 gezeigt. Die Eigenschaften des Abschneidefilters 68 für sichtbares Licht, das vor dem Objektiv 65 vorgesehen ist, wird durch (4) in Fig. 13 dargestellt, und die Empfindlichkeit der CCDs 612, 613 und 614 ist durch (3) in Fig. 13 gezeigt. Wie aus Fig. 13 ersichtlich ist, ist die Halbwertsbreite der Wellenlänge jeder der lichtemittierenden Dioden 64 und 66 schmal, so daß das von den entsprechenden lichtemittierenden Dioden 64 und 66 emittierte Licht nicht das jeweils andere stört, wenn die Mittenwellenlängen der zwei sich um ungefähr mehr 100 nm unterscheiden. Das Licht mit solcher Wellenlänge kann nicht durch die Augen eines Menschen erfaßt werden. Wenn das Licht durch die Augen eines Menschen erfaßt wird, kann die Wellenlänge des emittierten Lichtes geändert werden, so daß es länger ist. Die aus Silizium gebildeten CCD- Bildaufnahmeelemente 612, 613 und 614 weisen eine ausreichende Empfindlichkeit in diesem Wellenlängenbereich auf, wie in Fig. 13 gezeigt ist.
Fig. 14 ist eine perspektivische Ansicht, die einen Überblick über ein Beleuchtungsgerät zeigt, das lichtemittierende Dioden und einen Polarisator als ein Beispiel aufweist, die als eine Einheit vorgesehen sind. Es wird Bezug genommen auf Fig. 14, lichtemittierende Dioden 72 sind auf einer Basisplatte 71 angebracht, und ein Rahmen 74 zum Anbringen optischer Elemente ist an der Basisplatte 71 in einem vorbestimmten Abstand mittels eines Abstandshalters 73 angebracht. Optische Elemente 75 wie ein Polarisator, ein Filter, der sichtbare Wellenlänge abschneidet und Infrarot durchläßt usw. sind auf dem Rahmen 74 angebracht. Löcher für ein Kameraobjektiv sind in der Basisplatte 71 und auf dem optischen Element 75 gebildet, und ein Zylinder 76 ist zum Verbinden dieser zwei Löcher vorgesehen.
Wie oben beschrieben wurde, sind bei dem in Fig. 14 gezeigten Beispiel die optischen Elemente 75 durch einen Rahmen 74 so abgedeckt, daß die mechanische Festigkeit zum Verhindern von Schrägstellungen oder ähnlichem der optischen Elemente 75 vergrößert wird. Diese Struktur ist insbesondere wichtig, wenn der Brechungsindex des optischen Elementes 75 eine Anisotropie aufweist und die Eigenschaften der Elemente sich in Abhängigkeit von der Wellenlänge ändern. Genauer gesagt, wenn das Element eine Schiefe hat, wenn es verzerrt oder gebogen wird, kann vor geschriebenes Referenzlicht nicht vorgesehen werden. Der Zylinder 76 verändert den Eintritt des Referenzlichtes, das von den lichtemittierenden Dioden 72 emittiert ist, direkt in das Objektiv. Das Referenzlicht und das reflektierte Licht werden nämlich voneinander durch den Zylinder 76 getrennt.
Ein Betrieb eines Bildaufnahmegeräte wird im folgenden unter Bezugnahme auf Fig. 10 beschrieben. Das von den lichtemittierenden Dioden 64 und 66 der Beleuchtungsgeräte 61 und 62 emittierte Licht wird durch die Polarisatoren 67 bzw. 63 zum Beleuchten einer Person polarisiert. Das davon reflektierte Licht tritt in das Prisma 607 durch das Abschneidefilter 68 für sichtbares Licht und das Objektiv 65 ein. Das Licht mit der Wellenlänge λ2 (950 nm) wird durch den Wellenlängen trennenden Film 610 getrennt, so daß es das CCD-Bildaufnahmeelement 612 durch den Polarisator 615 zum Bilden eines Abbildes eintritt, Es sei angenommen, daß die Polarisation der Beleuchtung durch das Beleuchtungsgerät 62 in der Querrichtung ist, dann wird ein Bild mit der regulär reflektierten Komponente abgeschnitten, das heißt ein Bild mit der diffus reflektierten Komponente wird auf der photoempfindlichen Oberfläche des CCD-Bildaufnahmeelementes gebildet, wenn die Polarisationsrichtung des Polarisators 615 um 90º verschoben wird, so daß sie in der vertikalen Richtung steht. Da die reguläre Reflexion auf glatten Oberflächen des Objektes auftritt, werden die optischen Eigenschaften der Lichtkurve gut in den regulär reflektierten Komponenten gehalten.
Dagegen wird die diffus reflektierte Komponente durch die absorbierenden und reflektierenden Eigenschaften des Objektes modifiziert. Damit Merkmalspunkte des Gesichtes und der Pupille und des dunklen Abschnittes des Auges herausgezogen werden, sollte das diffus reflektierte Bild bevorzugt in Hinblick auf Rauschverringerung und Verbesserung des Signal/Rauschverhältnisses benutzt werden, Dagegen geht das reflektierte Licht mit der Wellenlänge λ1 durch das Abschneidefilter 68 für sichtbare Wellenlänge, das Objekt 65 und das Prisma 607, so daß es durch einen Halbspiegel 611 aufgeteilt wird, der an der Schnittstelle zwischen den Prismen 608 und 609 vorgesehen ist. Ein Teil des unterteilten Lichtes geht in das CCD-Bildaufnahmeelement 613 durch den Polarisator 616 zum Bilden eines Abbildes, und der andere Teil des unterteilten Lichtes geht direkt in das CCD-Bildaufnahmeelement 614 zum Bilden eines Abbildes. Daher ist ein Bild mit der regulär reflektierten Komponente und der diffus reflektierten Komponente in den Ausgangssignalen von dem CCD-Bildaufnahmelement 614 enthalten, während ein Bild mit der diffus reflektierten Komponente nur in den Ausgangssignalen von dem CCD-Bildaufnahmelement 613 enthalten ist. Da die Intensität des durch die Polarisatoren 615 und 616 gehenden Lichtes 1/2 wird, ist das Teilungsverhältnis des Halbspiegels 611 auf 1 : 2 gesetzt, so daß die Intensitäten der Bilder von den CCD-Bildaufnahmeelementen 613 und 614 ungefähr die gleichen sind.
Fig. 15A zeigt ein diffus reflektiertes Bild, das von einem Bildaufnahmegerät aufgenommen ist, und Fig. 15B zeigt den Effekt des Herausziehens von Merkmalspunkten. Ein Experiment wird durchgeführt zum Herausziehen blauer Markierungen, die an einem Gesicht einer Person als Merkmalspunkt angebracht sind zum Bestätigen des Prinzips dieser Erfindung. Zum Vergleich mit dem herkömmlichen Bildaufnahmeverfahren werden keine lichtemittierenden Dioden, sondern eine weiße Lichtquelle (Halogenlicht) als die Lichtquelle benutzt, die zum Beleuchten des Objektes polarisiert wird. Eine herkömmliche 3-Farben-CCD-Kamera wird benutzt, und ein Polarisator, dessen Polarisationsrichtung senkrecht auf dem Polarisator steht, der zur Beleuchtung eingesetzt wird, wird in die bildherstellende optische Achse eingesetzt. Fig. 15A zeigt ein Beispiel des Herausziehens der diffus reflektierten Komponente aus dem reflektierten Licht, das von der Kamera gemäß dem oben beschriebenen Verfahren aufgefangen wurde. Fig. 15B zeigt Bilder, die durch Herausziehen von Gesichtsfarbkomponenten aus den Bildpunkten von Fig. 15A und durch Unterwerfen einer Schwellenwertoperation erhalten werden. Wenn wird Fig. 15B mit dem in Fig. 3B gezeigten herkömmlichen Beispiel vergleichen, ist das Rauschen verringert und die blauen Markierungen 77 sind effektiv als Merkmalspunkte herausgezogen.
Das Herausziehen der von der Hornhaut reflektierten Bilder wird im folgenden beschrieben. Die von der Hornhaut reflektierten Bilder sind virtuelle Bilder, die dadurch gebildet werden, daß das Licht der Referenzlichtquelle regulär auf der Oberfläche der Hornhaut reflektiert wird. Daher sind in diesem Fall die regulär reflektierten Bilder die gewünschten Signale. Das Herausziehen der von der Hornhaut reflektierten Bilder wird realisiert durch Herausziehen der Differenz zwischen den Bildern auf den in Fig. 10 gezeigten CCD-Bildaufnahmeelementen 613 und 614 durch das Subtraktionsbetriebsmittel 617. Ein Problem bei dem Herausziehen der von der Hornhaut reflektierten Bilder bei dem Stand der Technik war es, daß das Licht von externen Oberflächen oder von der Anzeigeneinheit von der Hornhaut zum Bilden von Bildern reflektiert wird, die mit den von der Referenzlichtquelle erhaltenen Bildern überlappen. Bei einer Ausführungsform der vorliegenden Erfindung ist jedoch das Licht von der lichtemittierenden Diode 64 polarisiert, so daß die von der Hornhaut reflektierten Bilder, die durch Reflexion des Lichtes von der lichtemittierenden Diode 64 gebildet sind, durch den Polarisator 614 abgeschnitten werden, der orthogonal damit schneidet, wodurch die diffus reflektierten Bilder verbleiben. Daher kann das von der Hornhaut reflektierte Bild aus dem Hintergrund durch das Subtraktionsbetriebsmittel 617 herausgezogen werden, wie oben beschrieben wurde.
Da jedoch die externe Beleuchtung im allgemeinen nicht polarisiert ist, werden ähnliche Bilder von den CCD-Bildaufnahmeelementen 613 und 614 auf genommen, und es gibt keinen Unterschied zwischen den von diesen zwei Elementen aufgenommen Bildern. Daher enthält das Differenzbild, das von dem Subtraktionsbetriebsmittel 617 vorgesehen wird, geringeres Rauschen, wodurch das Herausziehen des von der Hornhaut reflektierten Bildes mit hohem Signal/Rauschverhältnis realisiert werden kann.
Fig. 16A bis 16C zeigen Beispiele des Herausziehens des von der Hornhaut reflektierten Bildes. Die in den Fig. 16A bis 16C gezeigten Beispiele sind die Resultate eines Experimentes zum Herausziehen des von der Hornhaut reflektierten Bildes unter Benutzung des gleichen Bildaufnahmesystemes, wie es in Fig. 10 gezeigt ist, damit das oben beschriebene Konzept bestätigt wird. Fig. 16A zeigt ein von dem CCD-Bildaufnahmeelement 614 vorgesehenes Bild einschließlich der regulär reflektierten Komponente und der diffus reflektierten Komponente. Fig. 16B zeigt von dem CCD-Bildaufnahmeelement 613 vorgesehene Bilder einschließlich der diffus reflektierten Komponente. Das von dem Subtraktionsbetriebsmittel 617 ausgegebene subtrahierte Bild entspricht Fig. 16C, indem das von der Hornhaut reflektierte Bild klar von dem Hintergrund herausgezogen ist.
Das Herausziehen der Pupille wird im folgenden beschrieben. Wie in Fig. 10 gezeigt ist, weist das erste Beleuchtungsgerät 61 lichtemittierende Dioden 66 auf, die um die optische Achse des Objektives 65 angeordnet sind, wie in Fig. 11 gezeigt ist. Bei dem reflektierten Bild, das aus der Beleuchtung des Beleuchtungsgerätes 61 abgeleitet wird, das heißt das von dem CCD- Bildaufnahmeelement 612 ausgegebene Bild, wird die Pupille heller als der Hintergrund aufgenommen. Obwohl die Hervorhebung der Pupille gegen den Hintergrund nicht ausreichend ist, kann die Pupille herausgezogen werden, wenn der Bereich der Anwendung begrenzt ist. Dagegen ist das zweite Beleuchtungsgerät 62 getrennt von der optischen Achse des Objektives 65 angeordnet. Bei dem von der Beleuchtung des Beleuchtungsgerätes 62 abgeleiteten reflektierten Bild, das heißt das von dem CCD-Bildaufnahmeelement 613 oder 614 vorgesehenen Bild, ist die aufgenommene Pupille dunkel. Daher wird durch die Subtraktionstätigkeit zwischen dem von dem CCD-Bildaufnahmeelement 612 vorgesehenen Bild und dem von dem CCD-Bildaufnahmeelement 613 vorgesehenen Bild oder durch die Subtraktionstätigkeit zwischen dem von dem CCD-Bildaufnahmeelement 613 vorgesehenen Bild und dem von dem CCD-Bildaufnahmeelement 614 vorgesehenen Bild die Pupille weiter gegen den Hintergrund hervorgehoben, wodurch ihre Heraus ziehung erleichtert wird. Da die Bedingungen des Anbringens des zweiten Beleuchtungsgerätes 62 nicht sehr restriktiv sind, wie oben beschrieben wurde, kann es durch eine externe Beleuchtung wie eine Leuchtstoffröhre ersetzt werden. In diesem Fall muß jedoch das von der Beleuchtung reflektierte Licht das CCD- Bildaufnahmelement 613 oder 614 erreichen, daher muß die externe Beleuchtung eine Komponente im nahen Infrarot aufweisen, oder das Abschneidefilter 68 für sichtbare Wellenlänge muß entfernt werden.
Fig. 17, 18 und 19 stellen Anordnungen der Lichtquellen zum hellen Aufnehmen der Pupille dar.
Die Beziehung zwischen den Positionen der Lichtquellen und der Helligkeit der Pupille wird im einzelnen im folgenden unter Bezugnahme auf Fig. 17 beschrieben. Der Augapfel 80 kann als ein Modell einer zusammengesetzten Sphäre betrachtet werden, bei dem transparente Sphären mit unterschiedlichen Radien einander überlappen, wobei ihre Mittelpunkte in einem Abstand voneinander angeordnet sind. Es sei ein Fall angenommen, in dem der Augapfel 80, der auf der optischen Achse des Aufnahmeobjektives 86 liegt, beleuchtet wird und das davon reflektierte Licht aufgefangen werden soll. Ein offener Abschnitt der Iris 81 des Augapfels 80 ist die Pupille 85. Das von einer Lichtquelle 87 emittierte Licht tritt in den Augapfel durch die Pupille 85 ein, wird an der Hornhaut reflektiert, geht durch die Pupille 85 und erreicht eine diffus reflektierende Oberfläche 82, die der Netzhaut entspricht. Ein Teil des Lichtes wird von den Netzhautzellen absorbiert. Der Rest des Lichtes wird hier zerstreut und reflektiert. Ein Teil des reflektierten Lichtes, der wieder durch die Pupille 85 gehen kann, kehrt ungefähr in die Richtung der Lichtquelle zurück. Wenn daher das Aufnahmeobjektiv 86 in dieser Richtung zum Auffangen des reflektierten Lichtes angeordnet ist, ist der der Pupille 85 entsprechende Teil in dem aufgenommenen Bild hell.
Wenn jedoch das Aufnahmeobjektiv 86 entfernt von der Lichtquelle 87 angeordnet ist, wird es schwierig, ausreichend das reflektierte Licht aufzufangen, und die Fläche, die in dem Abschnitt der Pupille 85 hell ist, hat eine einmalige Form. Wie in Fig. 17 gezeigt ist, wird, wenn die Lichtquelle 87 nahe der optischen Achse des Aufnahmeobjektives 86 angeordnet ist, die helle Fläche in der Pupille 85 größer, wie in Fig. 18B gezeigt ist. Wenn jedoch die Lichtquelle entfernt von dem Aufnahmeobjektiv 86 ist, wie es durch 88 dargestellt ist, die helle Fläche ist deutlich schräger, wie in Fig. 18A gezeigt ist. Die Mitte der Pupille 85 kann nicht richtig dargestellt werden, selbst wenn die Schwellenwerttätigkeit durchgeführt wird zum Auffinden der Mitte, da die Helligkeit des Pupillenbildes nicht gleichförmig ist. Daher kann möglicherweise ein Fehler beim Augenverfolgen auftreten. Im Hinblick auf die Genauigkeit beim Augenverfolgen wird es insbesondere gewünscht, daß die Pupille 85 mit gleichförmiger Helligkeit aufgenommen wird.
Daher ist es bevorzugt, die Lichtquelle in 87 nahe und um die optische Achse des Aufnahmeobjektives 86 angeordnet sind. Fig. 18C zeigt schematisch das Pupillenbild, das unter Benutzung des in Fig. 11 gezeigten Beleuchtungsgerätes 61 aufgenommen worden ist. Die in Fig. 11 gezeigten lichtemittierenden Dioden 66 dienen zum Aufnehmen eines speziellen Teiles der Pupille 85 als hell, wie in Fig. 18A gezeigt ist. Das durch die Summe der Funktionen der lichtemittierenden Dioden 66, die um die optische Achse angeordnet sind, aufgenommene Pupillenbild ist 26 gleichförmig hell. Die Anordnung, die die Lichtquellen 87 nahe der optischen Achse des Objektives aufweist, wird nur realisiert, wenn kompakte und effektive Lichtquellen wie lichtemittierende Dioden 66 benutzt werden.
Es wird Bezug genommen auf Fig. 19 die Bedingungen zum gleichförmigen hellen Aufnehmen der Pupille wird im folgenden beschrieben. Hauptsächliche Parameter, die die Bedingungen der Bildaufnahme beeinflussen, sind wie folgt.
(1) Positionen d, g des Augapfels, wobei die Position der Mitte des Objektives eine Referenz ist, und Rotationswinkel ξ des Augapfels
(2) Position der Lichtquelle
Von den oben erwähnten Parametern ist der Parameter (1) durch die Umgebungsbedingung definiert, in der das Augenverfolgungsverfahren eingesetzt wird. Bei der Schnittstellenumgebung beträgt die Position D des Augapfels 50 cm bis 200 cm, die Position g des Augapfels beträgt ±30 cm und der Rotationswinkel beträgt ±20º. Unter solchen Bedingungen wird die Bedingung der Anordnung der Lichtquellen zum Aufnehmen von mindestens einem Teil der Pupille als hell, wie in Fig. 18A und 18B gezeigt ist, durch Experimente gefunden. Die Bedingung wird nämlich durch einen Winkel θ definiert, der durch eine Linie, die die entsprechenden Lichtquellen mit dem aufzunehmenden Objekt verbindet, und die Linie, die die Mitte des Objektives mit dem Augapfel verbindet, definiert, wobei der Winkel θ gleich θth1 (5º) oder weniger ist.
Wenn der Winkel nicht weniger als θth2 (6º) ist, weist die Pupille keinen Teil mehr auf, der hell aufgenommen wird. Ob die Pupille hell oder dunkel aufgenommen wird, wird nämlich durch den Winkel θ bestimmt, wobei der Grenzwert 5º ist. Die Werte von θth1 und θth2 werden in Abhängigkeit von den Bedingungen der Umgebung gesetzt. Daher sollten bei dem Beleuchtungsgerät 61 zum Aufnehmen eines hellen Pupillenbildes die entsprechenden Lichtquellen um die optische Achse des Objektives mit einem Winkel von nicht mehr als θth1 gesetzt werden. Was die Zahl der Lichtquellen betrifft, je mehr desto besser. Bevorzugt können drei oder mehr Lichtquellen benutzt werden.
Unter Benutzung des Referenzbildes, das durch Subtraktion zwischen dem Bild, bei dem die Pupille hell aufgenommen ist, und dem Bild, bei dem die Pupille dunkel aufgenommen ist, vorgese hen wird, kann der Teil der Pupille gegen den Hintergrund hervorgehoben werden.
Fig. 20A bis 20C zeigen Beispiele von Bildern, die mit dem in Fig. 10 gezeigten Gerät aufgenommen sind. Fig. 20A ist ein Bild, das von dem CCD-Bildaufnahmeelement 612 aufgenommen ist, während Fig. 20B das Bild ist, das von dem CCD-Bildaufnahmeelement 614 aufgenommen ist. Durch Unterwerfen einer Schwellenwerttätigkeit des subtrahierten Bildes kann der Teil der Pupille mit hohem Signal/Rauschverhältnis herausgezogen werden, wie in Fig. 20C gezeigt ist.
Bei einer Ausführungsform der vorliegenden Erfindung wird die Pupille hell aufgenommen, indem das an der Netzhaut des Augapfels aus der Pupille reflektierte Licht aufgenommen wird. Diese Technik kann zum Herausziehen von Merkmalspunkten benutzt werden. Genauer, bei einem Verfahren des Erfassens der Position und der Richtung des Gesichtes von jemandem durch Anbringen von Markierungen auf dem Gesicht und Herausziehen dieser Markierungen können transparente Kugeln als die Markierungen benutzt werden.
Fig. 21 zeigt ein Beispiel der an einem Gerät angebrachten Markierung. Es wird Bezug genommen auf Fig. 21, eine diffus reflektierende Schicht 91 wird durch Anbringen einer Beschichtung wie eine weiße Farbe auf einer Glaskugel 90 gebildet. Eine Beschichtung wie eine schwarze Farbe wird weiter darauf aufgebracht zum Vorsehen einer lichtabsorbierenden Schicht 92. Das Licht tritt in die Glaskugel 90 durch einen Öffnungsabschnitt ein, wird an der Krümmung des Öffnungsabschnittes reflektiert und erreicht die zerstreuende Oberfläche. Obwohl kein Bild durch das einfallende Licht auf der zerstreuende Oberfläche gebildet wird, wird das einfallende Licht gesammelt, wie in Fig. 21 gezeigt ist, da die Krümmung des Öffnungsabschnittes als eine Linse dient. Das von der zerstreuenden Oberfläche reflektierte Licht wird ungefähr in die Richtung des einfallenden Lichtes reflektiert, da die Krümmung als die Linse dient, wenn das Licht durch den Öffnungsabschnitt hindurchgeht.
Da die Richtung des reflektierten Lichtes in der Nähe des einfallenden Lichtes ist, wenn das reflektierte Licht durch das Bildaufnahmegerät von Fig. 10 aufgenommen wird, wird der Öffnungsabschnitt heller als die Umgebung in dem durch das CCD- Bildaufnahmeelement 612 aufgenommenen Bild aufgenommen. Da das reflektierte Licht, das von dem Licht des Beleuchtungsgerätes 62, das getrennt von dem Aufnahmeobjektiv 65 vorgesehen ist, abgeleitet ist, nicht durch die Kamera 60 aufgenommen wird, wie es in dem Fall des Augapfels ist, wird der Öffnungsabschnitt in dem von den CCD-Bildaufnahmeelementen 613 und 614 aufgenommenen Bildern dunkel. Daher kann durch die Subtraktionstätigkeit zwischen den zwei verschiedenen Bildern der Öffnungsabschnitt als der Merkmalspunkt herausgezogen werden. Auf diese Weise kann der Öffnungsabschnitt der Glaskugel 90 auf ähnliche Weise wie das Herausziehen der Pupille herausgezogen werden. Eine Glaskugel 90 mit einem Durchmesser von 3 bis 5 mm kann benutzt werden, wobei sie bevorzugt an einem Teil des Gesichtes angebracht wird, an dem sich die Haut nicht sehr viel bewegt, oder die Glaskugel kann in das Gestell einer Brille eingebettet werden.
Fig. 22 ist eine Querschnittsansicht, die ein anderes Beispiel der Markierung zeigt. Es wird Bezug genommen auf Fig. 22, die Markierung 93 ist ein Kreis mit einem Durchmesser von ungefähr 2 bis 5 mm, der durch Bearbeiten von Glas gebildet wird. Ein Film 94, der Licht mit einer Wellenlänge länger als 900 nm durchläßt und Licht mit einer Wellenlänge nicht länger als 900 nm reflektiert, ist auf der Oberfläche gebildet, und die rückseitige Oberfläche ist eine diffus reflektierende Oberfläche 95. Daher wird Licht mit einer Wellenlänge länger als 900 nm zerstreut und reflektiert durch die hintere Oberfläche, so daß es von der Kamera aufgefangen werden kann, Das Licht mit einer Wellenlänge nicht langer als 900 nm wird auf der Oberfläche der Markierung 93 reflektiert. Wenn jedoch die Richtung der Reflexion unterschiedlich von der Richtung des Aufnahmeobjektives ist, wird das Licht nicht aufgenommen. Da zusätzlich dieses Licht regulär reflektiert ist, kann es unter Benutzung eines Polarisators abgeschnitten werden. Bei dem Bild, das von dem in Fig. 10 gezeigten CCD-Bildaufnahmeelement 612 aufgenommen wird, wird der markierte Abschnitt hell. Bei dem von dem CCD- Bildaufnahmeelement 613 aufgenommenen Bild, wird die Markierung dunkel. Dadurch kann durch Subtraktion dieser Bilder der markierte Abschnitt als auch die Pupille herausgezogen werden.
Fig. 23 zeigt ein Bildaufnahmegerät mit einem elektrischen Verschluß. Es wird Bezug genommen auf Fig. 23, eine Kamera 101 vom Typ mit elektrischen Verschluß weist ein Objektiv 102, einen elektrischen Verschluß 103, ein optisches Gerät 104 zum Trennen von Bildern entsprechend der Wellenlänge, ein Bildaufnahmeelement 105 zum Aufnehmen von Bildern mit der Wellenlänge λ&sub1; und ein Bildaufnahmeelement 106 zum Aufnehmen von Bildern mit der Wellenlänge λ&sub2; auf. Die Ausgangssignale von dem Bildaufnahmeelement 105 werden an einen Speicher 107 angelegt, während die Bildaufnahmeausgangssignale von dem Bildaufnahmeelement 106 an einen Speicher 108 angelegt werden. Die Speicher 107 bzw. 108 speichern die Bildaufnahmeausgangssignale. Ein Bildverarbeitungsgerät 109 verarbeitet Bildausgangssignale, die in dem Speicher 107 bzw. 108 gespeichert sind, und gibt zum Beispiel die Differenz zwischen ihnen aus. Der elektrische Verschluß 103 und die Bildaufnahmeelemente 105 und 106 werden durch eine Steuereinheit 110 gesteuert, die durch einen Mikrocomputer zum Beispiel gebildet ist. Ein Beleuchtungsgerät 111 weist ein Beleuchtungsgerät 113, das Licht mit der Wellenlänge λ&sub1; emittiert, und ein Beleuchtungsgerät 115, das Licht mit der Wellenlänge λ&sub2; emittiert, auf, die durch Treiberschaltungen 112 bzw. 114 unter der Steuerung der Steuereinheit 110 betrieben werden.
Fig. 24 und 25 zeigen Zeitpunkte des Treibens des Bildaufnahmegerätes und des Beleuchtungsgerätes, die in Fig. 23 gezeigt sind. Die Kamera 101 vom Typ des elektrischen Verschlus ses, die in Fig. 23 gezeigt ist, kann ein sich bewegendes Objekt mit keiner oder nur wenig Verwaschung aufnehmen. Das Konzept der Kamera ist wie folgt. Der elektrische Verschluß 103 wird während einer kurzen Zeitdauer zum Belichten der Bildaufnahmeelemente 105 und 106 geöffnet. Bildsignale werden zeitweilig in den Bildaufnahmeelementen 105 und 106 während einer kurzen Zeitdauer 116 gespeichert, zum Beispiel 1 msec, wie in Fig. 24(b) gezeigt ist. Danach werden zu dem Zeitpunkt 117, der in Fig. 24(a) gezeigt ist, die Bildsignale, die von den Bildaufnahmeelementen 105 und 106 ausgegeben sind, zu den Speichern 107 und 108 übertragen. Am Ende der Signalübertragung wird der elektrische Verschluß 103 wieder geöffnet, die Bildaufnahmeelemente 105 und 106 werden belichtet und der Betrieb wiederholt. Bei der in Fig. 23 gezeigten Kamera 101 vom Typ des elektrischen Verschlusses muß ein Bildaufnahmeelement mit einer hohen Empfindlichkeit als die Bildaufnahmeelemente 105 und 105 benutzt werden. Das Licht muß intensiver werden, wenn die Verschlußzeit kürzer wird. Der Einsatz des Beleuchtungsgerätes 111 in solch einem Gerät sieht die folgenden Vorteile vor.
Die lichtemittierenden Dioden können nämlich mit hoher Geschwindigkeit ein- und ausgeschaltet werden, ein größerer Strom kann dadurch bei einem unterbrochenen Treiberbetrieb im Vergleich mit dem kontinuierlichen Treiben fließen, und daher kann das von der Diode vorgesehene Licht intensiver sein. Daher kann zu dem Zeitpunkt der Belichtung des Bildaufnahmeelementes 105 und 106 ausreichend Licht emittiert werden. Auf diese Weise erfüllt das Beleuchtungsgerät 111, das lichtemittierende Dioden verwendet, die Anforderung an eine intensive Beleuchtung während einer kurzen Zeitdauer, was für die Kamera 101 vom Typ des elektrischen Verschlusses wünschenswert ist.
Die Belichtungszeit einer Bildebene der Bildaufnahmeelemente 105 und 106 ist in dem Bereich von 33 msec bis 0,5 msec. Wenn ein Fall angenommen wird, in dem 30 Bilder pro Sekunde mit einer minimalen Belichtungszeit von 1 msec oder 0,5 msec aufgenommen werden, ist die Belichtungszeit nicht mehr als 1/1000 im Vergleich mit der kontinuierlichen Beleuchtung. In diesem Fall leitet eine lichtemittierende Diode, die nur ungefähr 50 mA leitet, wenn sie kontinuierlich betrieben wird. Strom von etlichen A durch den unterbrochenen Betrieb. Daher kann die für die Belichtung notwendige Beleuchtung sichergestellt werden.
Bei dem Bildaufnahmegerät sollte externe Beleuchtung bevorzugt abgeschnitten werden, da sie Rauschen verursacht. Ein Effekt der Reduzierung der Belichtungszeit ist der, daß die Intensität der externen Beleuchtung relativ niedrig im Vergleich mit der Intensität des Beleuchtungsgerätes wird. Daher ist die Reflexionskomponente, die von der externen Beleuchtung abgeleitet wird, relativ klein und folglich wird die Rauschkomponente kleiner und das Signal/Rauschverhältnis besser. Da zusätzlich die Beleuchtung der notwendigen Intensität nur vorgesehen wird, wenn sie notwendig ist, kann der Leistungsverbrauch verringert werden und weniger Wärme wird erzeugt.
Als ein anderes Beispiel des unterbrochenen Antreibens wird ein Verfahren zum Entfernen reflektierter Komponenten, die von einer externen Beleuchtung stammen, im folgenden beschrieben.
Fig. 25 zeigt Zeitpunkte zum Antreiben des Beleuchtungsgerätes. Bei diesem Beispiel wird die Bildaufnahme in einer Zeitunterteilung durchgeführt, wobei zwei Bilder als ein Satz angenommen werden. Die zum Aufnehmen einer Bildebene benötigte Zeit beträgt 33 msec zum Beispiel, die durch A1 und A2 dargestellt ist. Zu der Zeit der Bildaufnahme A1 ist das Beleuchtungsgerät eingeschaltet. Zu der Zeit der Bildaufnahme A2 ist das Beleuchtungsgerät ausgeschaltet. Die zu den Zeiten A1 und A2 aufgenommenen Bilder sind beide durch die externe Beleuchtung beleuchtet. Unter der Annahme, daß die Bedingung der externen Beleuchtung die gleiche ist zu den Zeiten A1 und A2 kann das Bild, bei dem das Beleuchtungsgerät eingeschaltet ist, herausgezogen werden, indem das Bild zu der Zeit A2 von dem zu der Zeit A1 aufgenommenen Bild abgezogen wird.
Ein Bildverarbeitungsgerät, bei dem Merkmalspunkte eines Objektes, das aufzunehmen ist, in Echtzeit herausgezogen werden, das heißt mit 30 Bildern/sec wird im folgenden als eine Anwendung beschrieben. Wenn eine Bewegung einer Person in Echtzeit zu erfassen ist, muß das Verfahren zum Bildaufnehmen, das das Herausziehen der Merkmalspunkte erleichtert, ausgewählt werden, wie ein Aufbringen von Markierungen auf dem Gesicht oder des Körpers oder das Vorsehen von Referenzlicht. Diese Auswahl ist jedoch nicht ausreichend für Echtzeiterfassung. Der Hochgeschwindigkeitsbetrieb des Bildverarbeitungsgerätes ist wesentlich. Die oben beschriebenen Merkmalspunkte können leicht durch den Subtraktionsbetrieb zwischen zwei Bildern herausgezogen werden.
Fig. 26A ist ein schematisches Blockschaltbild, das eine Gesamtanordnung eines Bildverarbeitungsgerätes zeigt, bei dem Merkmalspunkte in Echtzeit durch Verwendung des Bildaufnahmegerätes erfaßt werden. Fig. 26B ist ein spezielles Blockschaltbild des in Fig. 26A gezeigten Bildverarbeitungsgerätes.
Es wird Bezug genommen auf Fig. 26A, R-, G- und B-Bildsignale, die durch Kameras 121 und 122 für das nahe Infrarot aufgenommen worden sind, werden entsprechend an die Bildverarbeitungsgeräte 123 und 124 angelegt, darin verarbeitet und an einen Host- Rechner 125 angelegt. Die Bildverarbeitungsgeräte 123 und 124 sind strukturiert, wie in Fig. 26B gezeigt ist. Das Bildverarbeitungsgerät 123 besteht grundsätzlich aus einem Modul 130, in dem ein Zeitsignal für eine Pipeline-Verarbeitung aus eingegebenen Signalen gebildet wird. Andere Eingangsmodule 131 und 132 und verschiedene Pipeline-Prozessormodule 153, 154, 155 und 156, die mit dem Modul 130 verbunden sind, sind parallel tätig. Die Kamera 121 für nahes Infrarot weist CCD-Bildaufnahmeelemente 612, 613 und 614 auf, wobei die Bildsignale von denen getrennt an die Module 130, 131 bzw. 132 angelegt werden. Die Module 130, 131 und 132 wandeln die Bildsignale in Bildpunktdaten durch A/D-Wandlung in Synchronisation mit den Ausgangssignalen von den CCD-Bildaufnahmeelementen 612, 613 bzw. 614 um, und die Bildpunktdaten werden aufeinanderfolgend an die Pipeline- Prozessormodule 133, 134, 135 und 136 über Videobusse angelegt. Jedes der Pipeline-Prozessormodule 133, 134, 135 und 136 weist eine Mehrzahl von Eingängen auf. Zum Beispiel führt bei einer Subtraktionstätigkeit zwischen zwei Bildern das Pipeline- Prozessormodul 133 die Subtraktion in B-R und eine Schwellenwerttätigkeit aus. Der Pipelineprozessor 134 führt eine Subtraktion B-G und die Schwellenwertverarbeitung aus. Der Pipelineprozessor 135 nimmt die in den Pipeline-Prozessoren 133 und 134 verarbeiteten Bildsignale auf, und der Pipelineprozessor 136 berechnet den Schwerpunkt der herausgezogenen Merkmalspunkte.
Die berechneten Schwerpunktskoordinaten werden durch einen Zwischenverstärker 138 an den Host-Rechner 125 zum Erfassen der Augenfixierung übertragen. Auf diese Weise werden die A/Dgewandelten Bildpunktdaten durch eine Mehrzahl von Pipeline- Prozessormodule 133 bis 136 bearbeitet, während ein Bild aufgenommen wird. Die zum Bearbeiten eines Bildes benötigte Zeit ist die Zeit von 33 msec, in der der letzte Bildpunkt aufgenommen ist plus die Verzögerungszeit bei der Pipelineverarbeitung. Die Eingangsmodule 130, 131 und 132 können das Aufnehmen des nächsten Bildes beginnen, sobald sie den letzten Bildpunkt zu dem Prozessor übertragen haben. Daher kann bei einer Bildverarbeitung, die durch einfache vier Regeln realisiert wird (Subtraktionsprozeß zwischen Bildern), die Echtzeitverarbeitung in der Rate von 33/sec mit einer Verzögerungszeit von 33 msec + α realisiert werden.
Die Anwendung an ein aktives Stereosehen, bei dem ein Formenmuster das aufzunehmende Objekt beleuchtet als das Referenzlicht und die dreidimensionale Form des Objektes gemäß der Änderung in dem reflektierten Muster entsprechend dem für die Beleuchtung benutzten Muster berechnet wird, als anderes Beispiel der Anwendung auf das Gebiet, das nicht augenverfolgend ist.
Fig. 27, 28 und 29 zeigen eine Anwendung auf die aktive Stereosehmessung. Es wird Bezug genommen auf Fig. 27, Referenzlicht, das von einem Beleuchtungsgerät 141 emittiert ist, das lichtemittierende Dioden als Lichtquellen verwendet, beleuchtet ein Objekt 145 durch ein Linsensystem 142, ein Formenmuster 143 und einen Polarisator 144. Das Objekt ist zum Beispiel das Gesicht einer Person, das Formenmuster 143 sieht zum Beispiel wie Fig. 28 gezeigt aus, und das Referenzlicht von der Lichtquelle 141 projiziert das Muster 146 des Formenmuster 143 auf das Objekt 145 durch das Linsensystem 142. Das von dem Objekt 145 reflektierte Licht geht durch die Aufnahmelinse 151 und den Polarisator 152 so, daß ein Bild auf dem Bildaufnahmeelement 153 gebildet wird. Die polarisierende Oberfläche des Polarisators 152 ist um 90º gegen die polarisierende Oberfläche des Polarisators 144 gedreht.
Fig. 29 zeigt ein Bild des auf das Objekt 145 projizierten Musters, das von dem Bildaufnahmeelement 153 aufgenommen ist. Allgemein weist das Objekt 145 glatte Teile auf. Das Referenzlicht wird auf diesen Abschnitten regulär reflektiert, so daß die regulär reflektierten Bilder, die das projizierte Muster stören, allgemein in dem projizierten Bild von Fig. 29 im Stand der Technik ohne Polarisation auftauchen. Bei diesem Verfahren jedoch, bei dem das Referenzlicht zur Beleuchtung polarisiert ist und die regulär reflektierte Komponente von dem reflektierten Licht abgeschnitten ist, können die Rauschkomponenten, die von den regulär reflektierten Bildern herrühren, verringert werden, wodurch das Formenmusterbild, das die Merkmalsinformation der Form des Objektes wiedergibt, effektiv herausgezogen werden kann, wie in Fig. 28 gezeigt ist.
Das Augenverfolgungsgerät wird im folgenden beschrieben, und die Augenfixierung wird vor der detaillierten Beschreibung des Gerätes beschrieben.
Fig. 30 zeigt schematisch den Aufbau eines Augapfels. Es wird Bezug genommen auf Fig. 30, eine transparente Schicht, die die vordere Oberfläche des Auges bedeckt, ist die Hornhaut 161. Das Sammeln des Lichtes auf der Netzhaut 162 wird hauptsächlich durch die Hornhaut 161 ausgeführt. Feineinstellung (Einstellen der Funktion) zum Fokussieren eines Objektes wird durch Ändern der Dicke einer Linse 163 durchgeführt. Ein Abschnitt, der Fovea 164 genannt wird, der die höchste Auflösung auf der Hornhaut 162 aufweist, existiert an einem Punkt einer Linie, die durch die Hornhaut 161 und die optische Achse der Linse 163 geht. Wenn eine Person ein Objekt betrachtet, bewegt sich das Auge derart, daß das Bild des Objektes auf der Fovea 164 gebildet wird. Daher können wir annehmen, daß die visuelle Achse ungefähr auf der ein Bild herstellenden optischen Achse liegt. Das Zentrum der Pupille 165 und das Rotationszentrum des Augapfels sind ebenfalls in der Nähe der optischen Achse. Daher ist Augenverfolgen grundsätzlich möglich durch Berechnen der Position des Zentrums der Pupille und des Zentrums des Augapfels. In dem folgenden wird der Algorithmus des Augenverfolgens beschrieben, wobei die visuelle Achse als die Linie angesehen wird, die das Zentrum des Augapfels und das Zentrum der Pupille verbindet. Die Korrektur für den Fall, in dem die Richtung der visuellen Achse von der Linie im engeren Sinne unterschiedlich ist, wird später beschrieben.
Die Stereosehmessung, bei der ein Weltkoordinatensystem auf einem Anzeigeschirm vorgesehen ist, das der Benutzer betrachtet, und die Positionen der oben beschriebenen Merkmalspunkte, die für das Augenverfolgen notwendig sind, werden auf diesem Koordinatensystem gemessen, wie im folgenden beschrieben wird.
Fig. 31 stellt die Stereosehmessung dar. Es wird Bezug genommen auf Fig. 31, , , stellt das Weltkoordinatensystem 161 dar, das mit dem Anzeigeschirm überlappt. Ein Spiegel ist parallel zu der - -Ebenen an einer vorgeschriebenen Position in der Richtung der -Achse des Weltkoordinatensystems 161 nur dann eingeführt, wenn das Stereomeßsystem zu kalibrieren ist.
(X, Y, Z) stellt das Koordinatensystem dar, das eine Projektion des Weltkoordinatensystems 161 ist, wobei die - -Ebenen davon von dem Spiegel 164 projiziert wird. Es wird ein Objektkoordinatensystem 162 genannt. (x, y, z) stellt ein Koordinatensystem 163 der Kamera dar, wobei der Nullpunkt o der Hauptpunkt der Linse ist. Eine Bildaufnahmeoberfläche 165 ist in einem Abstand der Fokallänge f von dem Hauptpunkt o positioniert. Das durch die Kamera aufzunehmende Objekt ist das Objektkoordinatensystem 162, das das Spiegelbild des Weltkoordinatensystemes 161 ist. Das Objektkoordinatensystem 162 ist nämlich der Anzeige zugewandt, und der Benutzer kann nahe seiner Position sitzen in der Umgebung der Schnittstelle.
Es ist die letzte Aufgabe der vorliegenden Erfindung, die Augenbewegung in dem Gebiet der Schnittstelle zu benutzen, und daher ist das Augenverfolgen in dem Anzeigenkoordinatensystem notwendig. Folglich müssen die Merkmalspunkte der Person genau in dem Anzeigenkoordinatensystem gefunden werden. Im allgemeinen ist, wenn die Positionen der Merkmalspunkt, die in dem Kamerakoordinatensystem 163 genommen werden, die in ein von dem Kamerakoordinatensystem 163 unterschiedliches Kamerakoordinatensystem umzuwandeln sind, eine Kalibrierung notwendig. Bei der Kalibrierung wird ein Punkt, dessen Position zuvor bekannt ist, in einem Koordinatensystem vorbereitet, in das die Position umzuwandeln ist, der Punkt wird von der Kamera aufgenommen und die Parameter für die Umwandlung werden berechnet. Da die Messung bevorzugt in dem Anzeigenkoordinatensystem gemäß der Aufgabe der vorliegenden Erfindung auszuführen sein sollte, wird die Kalibrierung realisiert, indem grundsätzlich ein Punkt angezeigt wird, dessen Position auf der Anzeige definitiv ist, und durch Aufnehmen des Punktes durch die Kamera. In dem Fall ist die Kamera natürlicherweise jedoch der Anzeige zugewandt und kann nicht den Benutzer aufnehmen, der der Anzeige zugewandt ist.
Daher ist ein Spiegel 164 vor dem Weltkoordiantensystem 161 zu der Zeit der Kalibrierung vorgesehen, wie in Fig. 31 gezeigt ist, und das virtuelle Bild auf dem Spiegel wird als Daten für die Kalibrierung benutzt. Das virtuelle Bild wird von der Kamera aufgenommen, und die räumliche Position des virtuellen Bildes wird genau in dem Weltkoordinatensystem 161 gefunden. Der Punkt in dem Weltkoordinatensystem 161 wird durch den Spiegel 164 reflektiert und erscheint als der Punkt P in dem Objektkoordinatensystem 162, wie in Fig. 31 gezeigt ist. Das Licht wird von dem Spiegel 164 reflektiert, wie durch den Pfeil (1) in Fig. 31 dargestellt ist. Gesehen von dem Kamerakoordinatensystem 163 wird das Licht gemessen, als ob es von dem Koordinatensystem 162 kommt, wie durch den Pfeil (2) dargestellt ist.
Der Spiegel 164 ist so angeordnet, daß die Position und die Richtung davon in Verknüpfung mit dem Weltkoordinatensystem 161 definit sind. Indem das getan wird, wird die Umwandlung von dem Weltkoordinatensystem 161 zu dem Objektkoordinatensystem 162 erleichtert. Wenn zum Beispiel der Spiegel 164 orthogonal die Z-Achse des Weltkoordinatensystemes 161 schneidend angeordnet wird, können die räumlichen Positionskoordinaten in dem Objektkoordinatensystem 162 in das Weltkoordinatensystem 161 umgewandelt werden, indem nur das Vorzeichen in der Richtung der Z- Achse umgedreht wird. Wenn die Umwandlung zwischen dem Weltkoordinatensystem 161 und dem Objektkoordinatensystem 162 leicht ist, wird die Umwandlung zwischen dem Kamerakoordinatensystem 163 und dem Weltkoordinatensystem 161, das heißt das Anzeigenkoordinatensystem ermöglicht, indem ein Verfahren der Umwandlung zwischen dem Kamerakoordinatensystem 163 und dem Objektkoordinatensystem 162 aufgestellt wird.
Daher wird in der folgenden Beschreibung ein Verfahren zum Berechnen der räumlichen Position des Merkmalspunktes P in dem Objektkoordinatensystem 162 auf der Grundlage der Daten der zweidimensionalen Position des von der Kamera in Fig. 31 aufgenommenen Merkmalspunktes beschrieben.
Zuerst wird die Beziehung zwischen der Koordinate (ξ, η) der Bildaufnahmeoberfläche der Kamera, der Kamerakoordinate (x, y, z) und der Objektkoordinate (X, Y, Z) beschrieben. Wie aus Fig. 31 ersichtlich ist
wobei f ein Abstand von dem Hauptpunkt der Linse zu der Bildaufnahmeoberfläche ( = Fokallänge) ist. Wenn nämlich die Koordinate des Bildes auf der Bildaufnahmeoberfläche bekannt ist (in der Messung bekannt), ist nur die Richtung des Objektes definit, und der Richtungsvektor des Punktes P in dem Kamerakoordinatensystem 163 in Fig. 31 wird wie folgt dargestellt
(t ist ein Parameter)...(2)
unter der Annahme, daß die Koordinate des Punktes P in dem Objektkoordinatensystem 162 P(X, Y, Z) ist, dann
wenn das Kamerakoordinatensystem 163 als p(x, y, z) dargestellt wird, dann
wenn die Koordinate des Punktes P auf dem Film als p'(ξ, η) dargestellt wird, dann
gemäß der Gleichung (2). Genauer
t ist ein Parameter...(5)
gemäß den Gleichungen (2) und (3) wird die inverse Transformation dargestellt als
Es sei ein Fall angenommen, in dem ξ, η, X, Y und Z als Eingaben in die obige Gleichung 6 zum Finden der Positionsparameter R&supmin;¹, f X&sub0;, Y&sub0; und Z&sub0; als Ausgaben gegeben sind. Genauer, das Verfahren des Berechnens der Neigung der Position der Kamera und der Fokallänge in dem Objektkoordinatensystem 162 (X, Y, Z) wird im folgenden beschrieben.
N Punkte Pi (Xi, Yi, Zi) (i = 1 bis N) der Objektkoordinaten, die bekannt sind, werden aufgenommen und die Positionskoordinaten (ξi, ηi) (i = 1 bis N) des Bildes werden gemessen. Indem das getan wird, werden die Position der Kamera (X&sub0;, Y&sub0;, Z&sub0;), der Rotationswinkel (α, β, γ), die die Richtung der optischen Achse der Kamera und die Neigung der Kamera bestimmen, und die Fokallänge F bestimmt.
Beim Entwickeln der Gleichung (5) werden die folgenden Gleichungen (7) vorgesehen
- ξi/f · ti = R&sub1;&sub1;(Xi - X&sub0;) + R&sub1;&sub2;(Yi - Y&sub0;) + R&sub1;&sub3;(Zi - Z&sub0;)
- ηi/f · ti = R&sub2;&sub1;(Xi - X&sub0;) + R&sub2;&sub2;(Yi - Y&sub0;) + R&sub2;&sub3;(Zi - Z&sub0;)
ti = R&sub3;&sub1;(Xi X&sub0;) + R&sub3;&sub2;(Yi - Y&sub0;) + R&sub3;&sub3;(Zi - Z&sub0;)
(i = 1 bis n)... (7)
Rij (i, j = 1 bis 3) sind Elemente einer Drehmatrix, in der
R&sub1;&sub1; = cosß cosγ
R&sub1;&sub2; = sinα sinß cosγ + cosα sinγ
R&sub1;&sub3; = -cosα sinß cosγ + sinα sinγ
R&sub2;&sub1; = -cosß sinγ
R&sub2;&sub2; = -sinα sinß sinγ + cosα cosγ
R&sub2;&sub3; = cosα sinγ sinγ + sinα cosγ
R&sub3;&sub1; = sinβ
R&sub3;&sub2; = -sinα cosß
R&sub3;&sub3; = -cosα cosß
Indem die dritte Gleichung für die erste und zweite Gleichung der oben beschriebenen Gleichungen (7) ersetzt wird, um den Ausdruck ti, zu eliminieren, werden die folgenden Gleichungen (9) vorgesehen.
(R&sub1;&sub1; + ξi/f · R&sub3;&sub1;)(Xi - X&sub0;) + (R&sub1;&sub2; + ξi/f · R&sub3;&sub2;)(Yi - Y&sub0;)
+ (R&sub1;&sub3; + ξi/f · R&sub3;&sub3;)(Zi - Z&sub0;) = 0
(R&sub2;&sub1; + ηi/f · R&sub3;&sub1;)(Xi - X&sub0;) + (R&sub2;&sub2; + ηi/f· R&sub3;&sub2;)(Yi - Y&sub0;)
+ (R&sub2;&sub3; + ηi/f · R&sub3;&sub3;)(Zi - Zi) = 0
(i = 1 bis N)... (9)
Die zu berechnenden Unbekannten sind (X&sub0;, Y&sub0;, Z&sub0;), (α, β, γ) und f. Daher muß N ≥ 4 sein. Tatsächlich wird der genaueste Wert durch das Verfahren der kleinsten Fehlerquadrate bestimmt, wie in der Lösung im folgenden gezeigt wird, und daher sollte der Wert N relativ groß sein. Die Lösung wird im folgenden beschrieben. Aufgrund des Fehlers in der Messung ist die linke Seite der Gleichung (9) nicht 0 sondern σi und &epsi;i. Daher kann die Lösung berechnet werden, indem die Summe der Fehlerquadrate (σi² + &epsi;i²) minimiert wird.
Auf diese Weise können durch Aufnehmen einer Mehrzahl von Punkten der räumlichen Positionen, die bekannt sind, durch eine Kamera die Kamerakoordinate, die Richtung der Kamera und die Fokallänge in dem Objektkoordinatensystem 162 berechnet werden. Da das Objektkoordinatensystem 162 leicht in das Weltkoordinatensystem 163 umgewandelt werden kann, können die Parameter für die Messung für das Weltkoordinatensystem 161 berechnet werden. Die Messung der dreidimensionalen Position wird im folgenden beschrieben.
Fig. 32 und 33 stellen ein Verfahren zum Berechnen einer dreidimensionalen Position eines von zwei Kameras aufgenommenen Bildes dar, die willkürlich in dem Weltkoordinatensystem angeordnet sind.
Es wird Bezug genommen auf Fig. 32, die Koordinaten ( 0i, 0i, 0i) der Hauptpunkte des Kameraobjektives, der Dreh winkel (αi, βi, γi), die die Richtungen der optischen Achse und die Neigungen der Kameras 165 und 166 definieren, und die Fokallänge fi (i = 1 bis 2) der zwei Kameras 165 und 166 sind in dem Weltkoordinatensystem bekannt. Wenn ein Punkt P ( , , ) in dem Weltkoordinatensystem 161 von den zwei Kameras 165 und 166 aufgenommen wird, werden die Koordinaten der durch diese zwei Kameras aufgenommenen Bilder entsprechend als (ξ&sub1;, η&sub1;) und (ξ&sub2;, η&sub2;) dargestellt. Wenn wir die Richtungsvektoren von den Bildern (ξi, ηi) zu den Hauptpunkten des Objektives als A&sub1; und A&sub2; darstellen, dann
P1 = A&sub1;t&sub1; + X&sub0;&sub1;
P2 = A&sub2;t&sub2; + X&sub0;&sub2; (t&sub1;, t&sub2; sind Parameter)... (10)
Gemäß der Gleichung (6) können A&sub1; und A&sub2; als
dargestellt werden, wobei die Werte A&sub1;, A&sub2;, X&sub0;&sub1;, X&sub0;&sub2; bekannt sind, da sie in der obenbeschriebenen Kalibrierung berechnet werden. Daher können die Wert P&sub1; und P&sub2; definiert werden, wenn die Werte t&sub1; und t&sub2; berechnet werden. Wenn es keine Fehler gibt, ist der P&sub1; gleich P&sub2;, so daß die Gleichungen (10) durch Ersetzen von P&sub1; = P&sub2; gelöst werden kann. Die Werte t&sub1; und t&sub2; können durch die Gleichungen (10) berechnet werden. Da jedoch der Wert P&sub1; nicht gleich dem Wert P&sub2; ist wegen der Fehler in der Messung, wird der nächste Punkt berechnet. Auf diese Weise kann die räumliche Position eines willkürlichen Punkte in dem Weltkoordinatensystem unter Benutzung zweier Bilder gemessen werden.
Ein Augenverfolgungsverfahren, das die Position und die Richtung des Gesichtes und die zentralen Positionen der Pupille und des dunklen Abschnittes des Auges benutzt, wird im folgenden beschrieben. Die Richtung der visuellen Achse kann als eine Linie berechnet werden, die die Koordinate des Zentrums des Augapfels und die Koordinate der Pupille verbindet. Da die Pupille direkt von der Kamera aufgenommen werden kann, das Weltkoordinatensystem davon gemäß dem Algorithmus des oben beschriebenen Stereosehmessens vorgesehen werden. Obwohl das Zentrum des Augapfels nicht direkt gemessen werden kann, wird angenommen, daß die Position des Zentrums des Augapfels in einem Kopfkoordinatensystem fest ist, das aus drei Merkmalspunkten auf dem Gesicht besteht. Daher wird die Koordinate des Zentrums des Augapfels, die in dem Kopfkoordinatensystem gegeben ist, in das Weltkoordinatensystem 161 umgewandelt.
Fig. 34 zeigt eine Ausführungsform des Augenverfolgens. Bei der oben beschriebenen Stereosehmessung kann das Weltkoordinatensystem 161 als das Anzeigekoordinatensystem in Fig. 34 angesehen werden. Indem dieses Verfahren benutzt wird, können die räumlichen Positionen aller Merkmalspunkte, die direkt durch die Kamera aufgenommen werden können, in dem Weltkoordinatensystem 161 gefunden werden.
Es wird Bezug genommen auf Fig. 34, in dem Kopfkoordinatensystem ist der Nullpunkt an dem Zentrum PG eines Dreieckes (P&sub1;, P&sub2;, P&sub3;), und die Richtung eines Segmentes, das P&sub1; und P&sub2; verbindet, wird als die x-Achse angesehen, und eine Richtung, die senkrecht die x-Achse schneidet, wird als die y-Achse angesehen, und die normale Richtung des Dreieckes wird als die z- Achse angesehen. Das Bezugszeichen e (xe, ye, ze) stellt einen Positionsvektor des Zentrums des Augapfels 171 in dem Kopfkoordinatensystem dar. Obwohl er gegenwärtig unbekannt ist, ist er ein konstanter Vektor. Die Position von dem Zentrum PG kann durch ein Verfahren oder ein anderes gemessen werden. Der Vektor kann durch Kalibrierung berechnet werden, wie später be schrieben wird. Daher wird im folgenden angenommen, daß der Vektor als Eingangswert gegeben ist.
Daher sind die Eingangsdaten (1) drei Merkmalspunkte Pi (Xi, Yi, Zi) (i = 1 bis 3) und (2) die Koordinate e (xe, Ye, ze) des Zentrums des Augapfels in dem Kopfkoordinatensystem (x, y, z). Die Ausgangsdaten sind der Weltkoordinatenwert C (xc, yc, zc) des Zentrums des Augapfels. Wenn dieses Resultat bekannt ist, kann die Richtung der Augenfixierung als D (xD, yD, zD) - C(xc, yc, zc) in Fig. 34 berechnet werden.
Das Problem in dem Vorangehenden ist die Umwandlung des Kopfkoordinatnsystemes (x, y, z) in das Weltkoordinatensystem ( , , ).
Fig. 35 stellt die Umwandlung der Koordinate einschließlich der Bewegung des Ursprungs und der Drehung der Achse der Koordinate dar. Es wird Bezug genommen auf Fig. 35, die Umwandlung der Koordinate einschließlich der Bewegung des Nullpunktes und der Drehung der Achse der Koordinate wird gemäß der folgenden Gleichung (12) im allgemeinen realisiert.
Die inverse Transformation wird durch die folgende Gleichung (13) dargestellt.
Der Wert R&supmin;¹ wird durch die folgende Gleichung (14) dargestellt, wobei angenommen ist, daß das Weltkoordinatensystem um β um die Y-Achse gedreht wird, dann um α um die X-Achse gedreht wird und dann um γ in die Richtung der Z-Achse so, daß es dem Kopfkoordinatensystem entspricht.
Da der Wert PG(XG, YG, ZG) gemessen wird, sind die Werte sincL, sinß, sinγ, cosα, cosß und cosy zu berechnen. Das Verfahren zum Berechnen dieser Werte wird im folgenden beschrieben.
Fig. 36 zeigt die Bewegung des Nullpunktes des Weltkoordinatensystemes, der der Merkmalspunkt P&sub1; des in Fig. 34 gezeigten Gesichtes ist. Die z-Richtung des Kopfkoordinatensystemes wird gleich dem normalen Vektor des Dreieckes angenommen, daß durch die drei Punkte auf dem Gesicht gebildet wird. Der Richtungscosinus des normalen Vektors des Dreieckes in dem Weltkoordinatensystem kann durch die folgenden Gleichungen (15) dargestellt werden
nx = cosθ
ny = cosφ
nz = cosφ... (15)
Diese Werte können auf die folgende Weise auf der Grundlage der Positionskoordinaten der drei Punkte auf dem Gesicht berechnet werden, die in dem Weltkoordinatensystem gemessen sind. Es wird Bezug genommen auf Fig. 35, die Gleichung einer Ebenen wird durch die folgende Gleichung (16) dargestellt.
A · X + B · Y + C · Z + D = 0... (16) Da der Wert X, Y, Z den drei Punkten Pi(Xi, Yi, Zi) (i = 1 bis 3) entspricht, wird die folgende Gleichung vorgesehen.
Da die Lösung der Gleichung (17) eine andere ist als A = B = C = D = 0, ist die Matrix der Kooeffizienten gleich 0, so daß die Gleichung der Ebenen die folgende Gleichung (18) wird.
Genauer
Daher wird der Normalen Vektor N der Ebenen 170 gleich:
Der Richtungscosinus (nx, ny, nz) des normalen Vektors des Dreieckes kann auf ähnliche Weise auf der Grundlage der Bedingung berechnet werden, daß das Weltkoordinatensystem um β um die Y- Achse gedreht wird, dann um α um die X-Achse so gedreht wird, daß die Z-Achse der Z-Achse des Kopfkoordinatensystemes entspricht.
Es wird Bezug genommen auf Fig. 37, das Bezugszeichen (1) stellt die Rotation des Weltkoordinatensystems um die Y-Achse um β dar. Zu der Zeit wird (X, Y, Z) in (X', Y', Z') umgewandelt, was durch die gestrichelten Linien dargestellt ist. Das Bezugszeichen (2) bezeichnet die Rotation des Weltkoordinatensystems um X' um α. Durch diese Tätigkeit fällt die Z'-Achse mit der z-Achse zusammen. Daher wird aus Fig. 37 der Richtungscosinus (nx, ny, nz) wie folgt dargestellt.
nx = cosα · sinβ
ny = -sinα
nz = cosα · sinβ ... (24)
Auf diese Weise wird die Richtung der z-Achse bestimmt, und eine Bedingung zum Berechnen der Wert sinα, sinβ, sinγ, cosα, cosß, cosγ ist gemäß den Gleichungen (23) und (24) vorgesehen.
Danach wird, es wird Bezug genommen auf Fig. 37, das Weltkoordinatensystem um γ um die z-Achse (das heißt N) der Kopfkoordinate gedreht, wie durch das Bezugszeichen (3) gezeigt ist, so daß die X'-Achse mit der x-Achse des Kopfkoordinatensystemes überlappt. Es sind nämlich die beiden X- und Y-Achsen parallel zu dem Kopfkoordinatensystem.
Es sei angenommen, daß der durch P&sub1; P&sub2; und XZ-Ebene gebildete Winkel δ ist, kann die folgende Gleichung angewendet werden und wird aus Fig. 37 verständlich.
Wenn wir m für die obige Gleichung ersetzen, werden die Rotationswinkel α, β und γ durch die folgende Gleichung (26) gemäß der oben beschriebenen Gleichungen (23), (24) und (25) dargestellt.
sinα = -ny ,cosα = 1 - n²y
sinβ = nz/ 1 - n²y , cosß = nz 1 - n²y
sinγ = m/ 1 - n²y ,cos γ = 1 - n²y - m²/ 1 - n²y
Der Wert R&supmin;¹ kann durch Ersetzen der Werte der obigen Gleichungen (26) in der Gleichung (20) berechnet werden. Daher kann gemäß der Gleichung (21) der Punkt in dem Kopfkoordinatensystem in das Weltkoordinatensystem umgewandelt werden. Daher kann die Position des Zentrums des Augapfels in dem Weltkoordinatensystem berechnet werden.
Ein Verfahren zum Augenverfolgen wird im folgenden beschrieben. In der oben beschriebenen Fig. 34 entspricht, wenn der Wert des Zentrums des Augapfels in dem Weltkoordinatensystem berech net wird, das heißt C (XC, YC, ZC) das Segment, daß den Wert C mit der Koordinate D(XD, YD, ZD) der Pupille verbindet, der visuellen Achse. Ein Vektor eines willkürlichen Punktes auf der visuellen Achse kann dargestellt werden als
A = C + t · (D-C)... (27)
wobei das Zeichen t einen Parameter darstellt, der einen Abstand zu dem Index bezeichnet, der durch verschiedene Verfahren berechnet werden kann. Wenn die in dem Weltkoordinatensystem vorgesehene Anzeige eine Ebene ist (zum Beispiel die YZ-Ebene in der Anzeigenoberfläche in Fig. 34) werden der Nullpunkt und die Richtung des visuellen Achsenvektors (D-C) berechnet, und daher kann der Punkt, an dem der Vektor die Anzeige trifft, eindeutig in der Anzeigenkoordinate berechnet werden.
Da die Richtungen der visuellen Achsen des linken und rechten Auges unabhängig bei der vorliegenden Erfindung erfaßt werden können, kann ein Blickpunkt nicht auf einer Ebene ebenfalls erfaßt werden. Es kann nämlich ein räumlicher Blickpunkt herausgezogen werden. Wenn wird die Vektoren zu willkürlichen Punkten auf der linken und rechten visuellen Achse als A1 und A2 darstellen, wird die folgende Gleichung (28) gemäß der Gleichung (27) vorgesehen.
A&sub1; = C1 + t1 · (D1 - C1)
A&sub2; = C2 + t2 · (D2 - C2)
worin
C1, C2: Vektoren zu den Zentren des linken und rechten Auges
D1 - C1), (D2 - C2): 1 inker und rechter visueller Achsenvektor
t1, t2: Parameter (t&sub1;, t&sub2; > 1)... (28) Der Punkt, an dem A1 und A2 am nächsten zueinander kommen, was unter Benutzung von t1 und t2 als Parameter erfaßt wird, dieser Punkt ist der Blickpunkt. Auf diese Weise können der Blickpunkt als auch der Winkel der Überlappung des linken und rechten Auges gleichzeitig in der vorliegenden Erfindung erfaßt werden.
Das Schätzen der Koordinate des Zentrums des Augapfels wird im folgenden beschrieben. Die Position des Zentrums des Augapfels wird als fest in dem Kopfkoordinatensystem angenommen und wurde daher im vorangehenden als Eingangswert bezeichnet. Es ist jedoch schwierig, genau die Koordinate des Zentrums des Augapfels zu erfassen. Daher wird er gemäß der folgenden Art geschätzt.
Nun wird eine Person dazu gebracht, aufeinanderfolgend auf M Punkte Li(Xi, Yi, Zi) zu schauen, deren Koordinaten in dem Weltkoordinatensystem bekannt sind. Die Weltkoordinate Di(XDi, YDi, ZDi) der Pupille zu der Zeit und die Weltkoordinaten P1i (X1i, Y1i, Z1i), P2i (X2i, Y2i, Z2i) und P3i (X3i, Y3i, Z3i) der drei Merkmalspunkte auf dem Gesicht, die die Kopfkoordinaten darstellen, werden gemessen. Unter Benutzung dieser gemessenen Werte wird der nächste Wert der Koordinate e (xe, ye, ze) des Zentrums des Augapfels in dem Kopfkoordinatensystem unter Benutzung des Verfahrens der kleinsten Fehlerquadrate geschätzt.
Es wird Bezug genommen auf Fig. 38, der Vektor des Zentrums des Augapfels in dem Kopfkoordinatensystem wird als e dargestellt, und die Vektoren des Zentrums der Pupille, des Zentrums der drei Merkmalspunkte auf dem Gesicht und der Vektor des Punktes Li, wenn die Person auf den Punkt Li schaut, werden entsprechend als Di, PGi, Li in dem Weltkoordinatensystem ausgedrückt. Wenn der Vektor e in dem Weltkoordinatensystem ausgedrückt wird, wird die folgende Gleichung (29) angewendet, wie aus Fig. 38 ersichtlich ist, da sie Ri&supmin;¹ · e ist.
Li + ti (Di - Li) = Ri&supmin;¹e + PGi
(i = 1 bis M)...(29)
ti ist ein Parameter (ti > 1)
Es werden nämlich die folgenden simultanen Gleichungen (30) vorgesehen.
(i = 1 bis M)...(30)
Wobei r11i, r12i... r33i Elemente der Rotationsmatrix Ri&supmin;¹ sind, die durch Ersetzen der Gleichung (26) für die Gleichung (20) erhalten werden. Durch Eliminieren des Ausdruckes ti aus der Gleichung (29) und Anordnen der Ausdrücke für xe, ye und ze werden die folgenden Gleichungen (31) erhalten.
U1ixe + U2iye + U3iZe + U&sub0;&sub1; = 0
V1ixe + V2iye + V3iZe + V&sub0;&sub1; = 0
(i = 1 bis N)...(31)
Die Werte U1i, U2i, U3i, U&sub0;&sub1;, V1i, V2i, V3i und V&sub0;&sub1; werden als Meßdaten vorgesehen. Daher können die Lösungen der Unbekannten xe, ye und ze durch Setzen von δi und &epsi;&sub1; entsprechend auf die rechte Seite der Gleichung (29) und durch Minimieren der Summe der Fehlerquadrate
Σ(δi² + &epsi;i²) berechnet werden.
Bei dem Vorangehenden ist der Parameter, der durch Kalibrierung berechnet werden muß, nur die Zentralposition des Augapfels in der Kopfkoordinate. Daher kann die Zahl von Indizes, die der Person zur Kalibrierung vorgesetzt werden, klein sein. Da die Kalibrierung auf eine einfache Weise ausgeführt werden kann, kann die Zahl der Fehler, die durch den Unterschied der Person verursacht wird, verringert werden und hohe Genauigkeit reali siert werden. Obwohl die visuelle Achse als eine Linie, die die Pupille und das Zentrum des Augapfels verbindet, in dem Vorangehenden angesehen wird, müssen sie nicht immer unbedingt miteinander zusammenfallen.
Fig. 39 zeigt einen Fall, in dem das Zentrum des Augapfels nicht auf der Linie vorhanden ist, die die Pupille und die Fovea verbindet. Es wird Bezug genommen auf Fig. 39, wenn das Zentrum des Augapfels nicht auf der Linie liegt, die die Pupille und die Fovea verbindet, wird die Position des Zentrums des Augapfels angenommen und der Vektor von dem angenommenen Punkt zu der Fovea kann mit einem oder einem anderen Mittel berechnet werden, oder der Vektor kann als ein konstanter Vektor während der Kalibrierung berechnet werden. In jedem Fall ist es wirksam, den Punkt des Zentrums des Augapfels zu berechnen, der unabhängig von der Rotation des Augapfels ist und sich nicht bei der Erfassung der Augenfixierung bewegt. Das oben beschriebene Problem kann bei einer weiteren Verbesserung behandelt werden. Wenn die Person eine optische Brille trägt, muß die Kalibrierung in Hinblick auf den Einfluß der Brillengläser ausgeführt werden. In diesem Fall kann auch die Kalibrierung durch die Verbesserung dieser Erfindung ausgeführt werden.
Das Verfahren, das die Pupille und die von der Hornhaut reflektierten Bilder benutzt, verwendet nur die Merkmalspunkte in dem Auge. Es sei angenommen, daß die Positionen der Lichtquellen bekannt sind und daß der Aufbau des Augapfels konstant ist, die von der Hornhaut reflektierten Bilder werden eindeutig in Abhängigkeit der Position des Zentrums des Augapfels und der Position der Pupille (entsprechend der Drehung des Augapfels) bestimmt. Daher kann die Position des Zentrums des Augapfels aus den von der Hornhaut reflektierten Bildern und der Position der Pupille unter Benutzung der Parameter des Augapfelaufbaues berechnet werden. Die visuelle Achse kann aus dem Zentrum des Augapfels und der Position der Pupille berechnet werden. Die Parameter des Augapfelaufbaues weisen den Radius des Augapfels, den Krümmungsradius der Hornhaut und den Abstand zwischen dem Zentrum des Augapfels und dem Krummungszentrum der Hornhaut auf. Diese Parameter können zuvor gemessen werden oder während der Benutzung kalibriert werden, indem der Benutzer an einen speziellen Abschnitt auf der Anzeige schaut.
Im folgenden wird beschrieben, wie die Merkmalspunkte auf dem Gesicht auszuwählen sind. Allgemein ändert ein Benutzer, der der Anzeige zugewandt ist, seinen Ausdruck nicht sehr stark. Daher bewegt sich die Haut nicht sehr viel. Selbst wenn sie sich bewegt, kehrt sie sehr schnell dahin zurück, wo sie war. Daher gibt es Abschnitte, die sich kaum auf dem Gesicht bewegen, die nicht das Augenverfolgen verhindert. Genauer, diese Abschnitte enthalten den inneren Augenwinkel, die Nasenspitze, einen zentralen Punkt auf der Oberlippe usw. Diese Punkte bewegen sich nicht sehr, wenn sie nicht der Ausdruck sehr ändert. Zusätzlich unterscheiden sich die Farben dieser Abschnitte von den Rändern, so daß die Merkmale leicht durch Bildverarbeitung herausgezogen werden können. Die Positionen der Merkmalspunkte können nämlich durch Kantenherausziehen und Schwellenwertbearbeitung identifiziert werden. Zum Verbessern der Genauigkeit der Augenverfolgung ist es bevorzugt. Abschnitte um die Augen vergrößert aufzunehmen. Daher ist es bevorzugt, die Merkmalspunkte des Gesichtes nahe den Augen auszuwählen. Es gibt viele solche Punkte um die Augen. Wenn die Augenfixierung mit hoher Geschwindigkeit durch eine einfache Bildverarbeitung zu erfassen ist, können Markierungen auf diesen Punkten angebracht werden.
Fig. 40 zeigt ein Beispiel eines Modelles des Kopfes, der eine Brille mit Markierungen verwendet. Wenn es schwierig ist. Markierungen auf dem Gesicht anzubringen, können Markierungen 172 auf drei Abschnitten auf dem Rahmen der optischen Brille angebracht werden, wie in Fig. 40 gezeigt ist. Indem diese Brille 171 getragen wird, kann der Kopf in ein Modell durch die Markierungen 172 umgewandelt werden. Wie diese Markierungen 172 herausgezogen werden, wird später zusammen mit der Herausziehung der Pupillen beschrieben. Obwohl drei Punkte auf dem Ge sicht zum Modellieren bei dem in Fig. 40 gezeigten Beispiel benutzt werden, können vier oder mehr Punkte benutzt werden.
Fig. 41 zeigt einen Fall, in dem vier Punkte zum Modellieren benutzt werden. Bei diesem Beispiel wird das Zentrum des Augapfels durch ein zweites Dreieck 174 anstelle eines ersten Dreieckes 173 in dem Fall berechnet, in dem das erste Dreieck 173 nicht gefunden werden kann, da die Merkmalspunkte nicht gut herausgezogen werden konnten. Da sich der Kopf einer Person verschieden bewegt, werden die entsprechenden Merkmalspunkte nicht immer von der Kamera tatsächlich aufgefangen. Daher kann bei der tatsächlichen Anwendung eine Mehrzahl von Dreiecken vorbereitet werden, zu denen nach Notwendigkeit zum kontinuierlichen Verfolgen der Augen geschaltet wird.
Es gibt nicht viele Punkte in dem Gesicht, die sich nicht sehr bewegen. Manchmal ist es schwierig, solche Punkte herauszuziehen. Daher werden vier oder mehr Merkmalspunkte auf dem Gesicht (tatsächlich je mehr desto besser) benutzt und drei oder mehr virtuelle Punkte werden wieder aus diesen Punkten so kalibriert, daß der Kopf in ein Modell gewandelt wird.
Fig. 42A und 42B zeigen Beispiele der Berechnung eines statischen virtuellen Merkmalspunktes aus zwei Merkmalspunkten auf dem Gesicht. Die Positionen des inneren Augwinkels und des äußeren Augwinkels ändern sich, wenn die Person die Augen verengt. Wenn jedoch die Person ihre beiden Augen verengt (was man normalerweise tut) ändert sich die Position des Zentrums zwischen den zwei Merkmalspunkten auf dem äußeren Augwinkel des Auges kaum. Dasselbe kann für Ecken der Nase, der Augenwimpern usw. angewendet werden. Da sich die Haut mehr als die Muskeln auf dem Gesicht bewegen, wenn sich ein Abschnitt ausdehnt, schrumpft ein anderer Teil unvermeidlich. Daher können durch Vorbereiten der Ausdrucksweisen und entsprechende Bewegungen in der Haut als Datenbasis relativ statische Merkmalspunkte virtuell vorgesehen werden. Durch Benutzen solcher virtuellen Merkmalspunkte kann die Genauigkeit bei der Augenverfolgung weiter verbessert werden. Es ist wünschenswert, in der Zukunft die Bewegung des Auges als auch die Ausdrucksweise zu verfolgen.
Fig. 43 stellt eine andere Ausführungsform der Augenverfolgung dar. Es wird Bezug genommen auf Fig. 43, ein Beleuchtungsgerät 181 ist vorgesehen, und ein Referenzlicht 182 wird von dem Beleuchtungsgerät 181 emittiert. Da die Hornhaut als konvexe Linse betrachtet werden kann, wird ein virtuelles Bild in der Hornhaut gebildet, wenn das Referenzlicht 182 ungefähr parallel ist, so daß scheinbar die Lichtquelle in diesem Punkt ist. Dieses wird das von der Hornhaut reflektierte Bild 183 genannt. Die Position E des von Hornhaut reflektierten Bildes 183 wird eindeutig in Abhängigkeit der Position des Zentrums 184 des Augapfels berechnet, ein Punkt (zum Beispiel das Zentrum 185 der Krümmung der Hornhaut) auf der optischen Achse der Hornhaut und der Krümmungsradius ge der Hornhaut.
Die Position des Zentrums des Augapfels ist hier A + B, was wie oben beschrieben berechnet werden kann. Wenn daher die Position des Zentrums 185 der Krümmung der Hornhaut berechnet wird, kann die Augenfixierung erfaßt werden. Wenn der Abstand zwischen dem Zentrum des Augapfels und dem Zentrum der Krümmung der Hornhaut und der Krümmungsradius ge der Hornhaut bekannt sind, kann die Position des Zentrums 185 der Krümmung der Hornhaut geometrisch berechnet werden, indem die Position des Zentrums 184 des Augapfels und die Position e des von der Hornhaut reflektierten Bildes benutzt werden. Auf diese Weise kann die Augenfixierung unter Benutzung der Merkmalspunkte auf dem Gesicht und des auf der Hornhaut reflektierten Bildes 183 erfaßt werden. Wenn die Werte ge und de tatsächlich nicht gemessen werden können, können diese als Unbekannte durch die oben beschriebene Kalibrierung bestimmt werden.

Claims

1. Verfahren zum Erfassen einer Blickrichtung durch Herausziehen und Messen von Positionen von Merkmalspunkten auf einem Gesicht, die durch ein Bildaufnahmegerät (2, 3) in Fig. 1, 50 in Fig. 7) aufgenommen werden, mit den Schritten:

- Herausziehen mindestens dreier vorbestimmter Merkmalspunkte (77, in Fig. 15, "MARKS" in Fig. 40-42), an denen sich die Gesichtshaut nicht sehr viel bewegt, und einer Pupille (54 in Fig. 7) aus dem Bild des Gesichtes;

- Erfassen der räumlichen Positionen ( , , in Fig. 34) der mindestens drei Merkmalspunkte auf dem Gesicht und der räumlichen Position ( in Fig. 34) des Zentrums (172 in Fig. 34) der Pupille in einem Koordinatensystem, das eine räumliche Position eines Objektes des Blickens beschreiben kann;

- Modellieren des Kopfes als einen starren Körper unter Benutzen der mindestens drei Merkmalspunkte (77, MARKS) auf dem Gesicht;

- Setzen eines Rotationszentrums (171 in Fig. 34) eines Augapfels in dem modellierten Kopf und Schätzen einer Position (C in Fig. 34) des Rotationszentrums (171) des Augapfels aus den räumlichen Positionen von mindestens drei der Merkmalspunkte (77, MARKS);

- Berechnen einer Linie, die in dem Rotationszentrum (171) des Augapfels entspringt und durch das Zentrum der Pupille (172) geht, oder einer anderen Linie (Fig. 39), die eine vorbestimmte Neigung gegenüber dieser Linie aufweist, als die Blickrichtung.

2. Verfahren zum Erfassen einer Blickrichtung durch Herausziehen und Messen von Positionen von Merkmalspunkten (P) auf einem Gesicht, die durch ein Bildaufnahmegerät (2, 3 in Fig. 1, 40 in Fig. 7) aufgenommen werden, mit den Schritten:

- Erzeugen eines von der Kornea (53 in Fig. 7) eines Auges reflektierten Bildes durch Beleuchten der Kornea (53) mit Strahlen;

- Extrahieren von mindestens drei vorbestimmten Merkmalspunkten (77 in Fig. 15, "MARKS" in Fig. 40-42) auf dem Gesicht, an denen sich die Gesichtshaut nicht sehr viel bewegt, einer Pupille (54 in Fig. 7) und des von der Kornea (54) reflektierten Bildes aus dem Bild des Gesichtes;

- Erfassen der räumlichen Positionen ( , , in Fig. 34) der mindestens drei Merkmalspunkte (77, MARKS) auf dem Gesicht in einem Koordinatensystem, das eine räumliche Position eines Objektes des Blickens beschreiben kann;

- Modellieren des mit dem Gesicht verknüpften Kopfes als einen starren Körper unter Benutzung der mindestens drei Merkmalspunkte (P) des Gesichtes;

- Setzen eines Rotationszentrums (171 in Fig. 34, 184 in Fig. 43) eines Augapfels in dem modellierten Kopf und Schätzen der räumlichen Position (C in Fig. 34) des Rotationszentrums (171) des Augapfels aus den räumlichen Positionen ( , , ) der mindestens drei Merkmalspunkte (77, MARKS)

- Modellieren des Augapfels (Fig. 30) als einen doppelten sphärischen Körper (80 in Fig. 17, Fig. 7, Fig. 43), bei dem zwei Sphären mit einem großen und einem kleinen Radius überlappen, wobei ihre Zentren gegeneinander versetzt sind und die große Sphäre einen ähnlichen Radius wie der Augapfel aufweist und die kleine Sphäre eine ähnliche Krümmung und ein Zentrum wie die Krümmung bzw. das Zentrum der Kornea aufweist, und Setzen des Zentrums der großen Sphäre als das Rotationszentrum (171, 184) des Augapfels;

- Berechnen der Änderung der Relativpositionen des von der Kornea (53) reflektierten Bildes und des Pupillenzentrums (55 in Fig. 7, 172 in Fig. 34) auf dem aufgenommenen Bild nahe eines Auges (Fig. 7), die durch die Augapfeldrehung auftritt;

- Berechnen des Augapfelrotationswinkels, der die Richtung einer Linie ist, die in dem Zentrum der großen Sphäre (171 oder 184) entspringt und durch das Zentrum der Pupille (56 oder 172) geht in dem Augapfelmodell ist, in dem die Änderung der Relativpositionen benutzt wird;

- Berechnen der Linie oder einer anderen Linie (Fig. 39), die eine vorbestimmte Neigung aufweist, als eine Blickrichtung.

3. Verfahren zum Erfassen einer Blickrichtung durch Herausziehen und Messen von Positionen von Merkmalspunkten auf einem Gesicht, die durch ein Bildaufnahmegerät (2, 3 in Fig. 1, Fig. 50 in Fig. 7) aufgenommen werden, mit den Schritten:

- Erzeugen eines von der Kornea (53 in Fig. 7) eines Auges reflektierten Lichtes durch Beleuchten des Auges mit Strahlen;

- Extrahieren einer Pupille (54 in Fig. 7) und des von der Kornea (53) des Auges reflektierten Lichtes aus dem Bild des Gesichtes;

- Erfassen der räumlichen Positionen der Pupille (54) und des von der Kornea (53) des Auges reflektierten Bildes in einem Koordinatensystem, das eine räumliche Position eines Objektes des Blickens (Fig. 43) beschreiben kann;

- Modellieren des Augapfels (80 in Fig. 17) als einen doppelten sphärischen Körper, bei dem zwei Sphären mit großem und kleinem Radius überlappen, wobei ihre Zentren gegeneinander versetzt sind, die große Sphäre einen ähnlichen Radius wie der Augapfel (80) aufweist und die kleine Sphäre eine ähnliche Krümmung und ein Zentrum wie die Krümmung bzw. das Zentrum (85) der Kornea aufweist;

- Bestimmen der Parameter des Radius einer jeden Sphäre und des Abstandes zwischen den Zentren und

- Setzen des Zentrums der großen Sphäre als den Nullpunkt einer Linie, die eine Blickrichtung ausdrückt;

- Schätzen der Position des Rotationszentrums (171 in Fig. 34, 184 in Fig. 43) des Augapfels (80) aus den räumlichen Position der Pupille (54) und des von der Kornea (53) des Auges reflektierten Lichtes;

- Berechnen des Augapfelrotationswinkels aus den Relativpositionen des von der Kornea (53) reflektierten Bildes und des Pupillenzentrums (36) auf dem aufgenommenen Gesichtsbild;

- Berechnen der Linie, die in dem Zentrum (184 in Fig. 43) der großen Sphäre entspringt und als Neigung den Winkel der Augapfelrotation aufweist, als die Blickrichtung.

4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem der Schritt des Schätzens der Position des Rotationszentrums (171 in Fig. 34) des Augapfels in dem Kopfmodell oder dem Augapfelmodell aus den räumlichen Positionen aller oder einiger der Merkmalspunkte (77, MARKS) die Schritte aufweist:

- aufeinanderfolgendes Zeigen einer Mehrzahl von Zielpunkten (Li in Fig. 38), von denen die räumlichen Positionen vorher bekannt sind, in dem Koordinatensystem, das die räumliche Position eines Objektes des Blickens (161) beschreiben kann, auf die durch eine Person zu blicken ist;

- Erfassen der räumlichen Positionen ( , , in Fig. 34) aller oder einiger der Merkmalspunkte zu dieser Zeit in dem Koordinatensystem;

- Erfassen einer Linie (D-L in Fig. 38), die die räumliche Position (Li) des Zielpunktes und die räumliche Position (D in Fig. 38) des Zentrums (56) der Pupille verbindet, die den Zielpunkt (Li) betrachtet, in dem Koordinatensystem;

- Definieren einer Verlängerung der Linie oder einer Verlängerung einer Linie, die eine vorbestimmte Neigung dagegen hat, als die Blickrichtung; und

- aufeinanderfolgendes Berechnen der Blickrichtungen, wenn die Zielpunkte betrachtet werden, und Setzen als eine Position des Rotationszentrums (171 in Fig. 34) des Augapfels eine Position, an der die Blickrichtungen sich am dichtesten in dem Kopfmodell oder in dem Augapfelmodell schneiden.

5. Verfahren nach einem der Ansprüche 1 bis 3, mit den Schritten:

- Berechnen von Blickrichtungen (A1, A2) beider Augen der Person und

- Berechnen als den Punkt des Blickens eines Punktes, an den die zwei Blickrichtungen (A1, A2) am nächsten zueinander kommen.

6. Verfahren nach Anspruch 1 oder 2, bei dem die mindestens drei Merkmalspunkte (77, MARKS) auf dem Gesicht, an denen sich die Gesichtshaut nicht sehr viel bewegt, mindestens drei Markierungen (172) entsprechen, die einem Rand eines Rahmens einer Brille zugeordnet sind, und

- der Kopf als ein starrer Körper unter Benutzung der von der Person getragenen Brille modelliert wird.

7. Verfahren nach einem der Ansprüche 1 bis 6, bei dem jeder Merkmalspunkt von Bildaufnahmegeräten aufgenommen wird, die Kameraparameter der Bildaufnahmegeräte zuvor in dem Koordinatensystem kalibriert werden, das die räumliche Position eines Objektes des Blickens beschreiben kann, und die räumliche Position eines jeden Merkmalspunktes in den Koordinaten durch ein Stereobildmeßverfahren berechnet wird.

8. Verfahren nach einem der Ansprüche 2 bis 7, mit den Schritten:

- Emittieren von Referenzlicht auf das Bild des Gesichtes;

- Extrahieren eines von der Kornea reflektierten Bildes und der Pupille aus dem Bild des Gesichtes, die durch das Bildaufnahmegerät aufgenommen werden.