DE19603287C2 - Gesichtsbildaufnahmevorrichtung - Google Patents

Description

Die vorliegende Erfindung betrifft eine Gesichtsbildaufnahmevorrichtung nach dem Oberbegriff des Patentanspruchs 1.

Es wurde bereits eine Fahrerzustandserfassungsvorrichtung zum Fotografieren des Gesichts eines Fahrers mit einer innerhalb eines Fahrzeugs vorgesehenen Kamera beschrieben, wobei die Augen herausgezogen werden, die einen charakteristischen Abschnitt des Gesichts darstellen, durch Bearbeitung eines aufgenommenen Bildes des Gesichts, und der Zustand des Fahrers des Fahrzeugs beim Fahren beispielsweise daraus ermittelt wird, ob er zur Seite sieht oder eingenickt ist, auf der Grundlage des Öffnungs-/Schließzustands des Auges, wie in der japanischen Veröffentlichung eines ungeprüften Patents Nr. 68500/1992 oder der japanischen Veröffentlichung eines ungeprüften Patents Nr. 32154/1994 (die den Oberbegriff des Anspruchs 1 offenbart) beschrieben. Als derartige Vorrichtungen zur Aufnahme eines Bildes eines Fahrers wurden Kameras beschrieben, welche das Gesicht des Fahrers durch Bildaufnahmeelemente wie beispielsweise CCD aufnehmen, wobei ein Filter vorgesehen ist, welches sichtbares Licht vor den Bildaufnahmeelementen abschneidet, wogegen das Gesicht des Fahrers durch ein Infrarot-Stroboskop oder eine LED beleuchtet wird, deren Wellenlängenbereich im nahen Infrarotbereich liegt, wobei eine derartige Beleuchtungsvorrichtung in der Nähe der Kamera angeordnet ist.

Die Fig. 25 bis 28 zeigen ein derartiges, konventionelles Beispiel, wobei Fig. 25 den Aufbau einer Fahrerzustandserfassungsvorrichtung mit einer konventionellen Gesichtsbildaufnahmevorrichtung zeigt, in Fig. 26 Eigenschaftsdiagramme des spektroskopischen Reflexionsvermögens verschiedener Brillengläser dargestellt sind, Fig. 28 ein Eigenschaftsdiagramm des spektroskopischen Transmissionsvermögens eines Abschneidefilters für sichtbares Licht zeigt, welches in der Gesichtsbildaufnahmevorrichtung verwendet wird, und Fig. 28 ein Beispiel für ein Gesicht zeigt, welches eine Brille trägt, in einem hellen Zustand, und welches von der konventionellen Gesichtsbildaufnahmevorrichtung fotografiert wird. Unter Bezugnahme auf die voranstehend geschilderten Zeichnungen erfolgt nunmehr eine Beschreibung des konventionellen Beispiels.

In Fig. 25 bezeichnet das Bezugszeichen 100 eine Gesichtsbildaufnahmeeinheit, und 101 ein zweidimensionales Bildaufnahmeelement, welches bei diesem Beispiel durch CCDs gebildet wird. Das Bezugszeichen 102 bezeichnet eine Bildsignalbearbeitungsschaltung, 103 bezeichnet eine Bildaufnahmelinse, und 104 bezeichnet ein Abschneidefilter für sichtbares Licht, welches auf einer optischen Achse vor der Bildaufnahmelinse 103 angeordnet ist. Bei diesem Abschneidefilter für sichtbares Licht beträgt die Wellenlänge bei einem Transmissionsvermögen von 50% 700 nm, und schneidet das Filterlicht mit einer Wellenlänge ab, die im wesentlichen kleiner oder gleich 700 nm ist.

Die voranstehend erwähnte CCD 101, die Bildsignalbearbeitungsschaltung 102, die Bildaufnahmelinse 103 und das Abschneidefilter 104 für sichtbares Licht bilden eine Kameraeinheit 110. Das Bezugszeichen 105 bezeichnet eine Beleuchtungssteuerschaltung, an welche ein Helligkeits/Dunkelheitsausgangssignal der Bildsignalbearbeitungsschaltung 102 angeschlossen ist, und das Bezugszeichen 106 bezeichnet eine Lichtquelle, welche eine Lichtquelle im nahen Infrarotbereich ist, und bei welcher ein Abschneidefilter für sichtbares Licht vor einer Lichtquelle vorgesehen ist, bei welcher mehrere Infrarot-LEDs mit hoher Helligkeit vorgesehen sind, eine Halogenlampe oder eine Xenonlampe. Die Beleuchtungssteuerschaltung 105 und die Lichtquelle 106 im nahen Infrarotbereich sind vereinigt und getrennt von der Kameraeinheit 110 vorgesehen. Das Bezugszeichen 120 bezeichnet eine Gesichtsbildbearbeitungseinheit, wobei das Bezugszeichen 121 eine Eingangsschnittstelle (I/F) bezeichnet, an welche CCD- Fotoaufnahmetaktsignale von der Bildsignalbearbeitungsschaltung 102 angelegt werden, das Bezugszeichen 122 bezeichnet einen Analog-/Digitalwandler (A/D), an welchen ein von der Bildsignalbearbeitungsschaltung 102 ausgegebenes Bild angelegt wird, das Bezugszeichen 123 bezeichnet eine Bildbearbeitungshardware (H/W) mit Gatearrays oder digitalen Signalprozessoren (DSP), an welche ein Ausgang des A/D-Wandlers 122 angeschlossen ist, das Bezugszeichen 124 bezeichnet einen Bildspeicher, der an die Bildbearbeitungs- H/W angeschlossen ist, das Bezugszeichen 125 bezeichnet eine CPU, das Bezugszeichen 126 einen ROM, das Bezugszeichen 127 ein RAM, und das Bezugszeichen 128 eine Ausgangsschnittstelle (I/F). Der A/D-Wandler 122, die Bildbearbeitungs-H/W 123, der Bildspeicher 124, der ROM 126, das RAM 127, und die Ausgangs- I/F 128 sind an die CPU 125 über einen Bus 129 angeschlossen. Das Bezugszeichen 130 bezeichnet einen Fahrer, das Bezugszeichen 131 eine Brille, welche der Fahrer trägt.

Nachstehend erfolgt eine Erläuterung des Betriebsablaufs. Eine Komponente des sichtbaren Lichts von 700 nm oder weniger von reflektiertem Licht, welches durch Reflexion von Beleuchtungslicht oder Außenlicht durch das Gesicht des Fahrers 130 erzeugt wird, wird durch das Abschneidefilter 104 für sichtbares Licht abgeschnitten, Licht im nahen Infrarotbereich wird durch die Bildaufnahmelinse 103 gesammelt, und das Gesichtsbild des Fahrers 130 wird auf der CCD 101 erzeugt, gesteuert durch die Bildsignalbearbeitungsschaltung 102. Die Bildsignalbearbeitungsschaltung 102 gibt das Gesichtsbild des Fahrers 130, welches auf der CCD 101 erzeugt wurde, als ein Bildsignal an den A/D-Wandler 122 aus, und gibt gleichzeitig ein Hell/Dunkel-Zustandsignal an die Beleuchtungssteuerschaltung 105 aus, durch Berechnung der Helligkeit in der Umgebung des Gesichts des Fahrers 130 durch Berechnung einer gemittelten Helligkeit auf der CCD 101.

Hierbei wird die Aufnahme des Fahrers 130 in einem solchen Zustand schwierig, wenn keine Beleuchtung durch Sonnenlicht vorhanden ist, beispielsweise bei Nacht oder in einem Tunnel. Daher schaltet die Beleuchtungssteuerschaltung 105 die Lichtquelle 106 im nahen Infrarotbereich ein, und beleuchtet das Gesicht des Fahrers 130, wenn ein Dunkelzustandsignal von der Bildsignalbearbeitungsschaltung 102 ausgegeben wird.

Das Gesicht wird ausreichend hell durch eine Komponente im nahen Infrarot des Sonnenlichts zur Tageszeit fotografiert. Daher schaltet die Beleuchtungssteuerschaltung 105 die Lichtquelle 106 im nahen Infrarotbereich aus, wenn ein Hellsignal von der Bildsignalbearbeitungsschaltung 102 ausgegeben wird.

Ein Bildsignal des Gesichtsbildes des Fahrers 103 wird durch den A/D-Wandler 122 analog/digital in ein digitales Gradationsbild umgewandelt, welches in ein binäres Bild durch die Bildbearbeitungs-H/W 123 umgewandelt wird, nachdem kleine Rauschkomponenten eliminiert wurden, durch einen Durchgang durch ein Glättungsfilter, und in dem Bildspeicher 124 gespeichert wird. Dann erfolgt ein Zugriff auf das binäre Bild in dem Bildspeicher 124 durch teilweise Verwendung der Bildbearbeitungs-H/W, und werden die Augen aus dem binären Bild herausgezogen, wird der Öffnungs- oder Schließzustand der Augen festgestellt, der Schlafzustand des Fahrers 130 aus dem Öffnungs-/Schließzustand der Augen festgestellt, und ein Alarmsignal von der Ausgangs-I/F 128 nach außen ausgegeben, und der Fahrer 130 in einem Fall alarmiert, wenn der Schlafzustand ermittelt wurde. Diese Reihe von Operationen wird durch die CPU 125 gemäß in dem ROM 126 gespeicherten Befehlen entsprechend den CCD-Fotoaufnahmetaktsignalen gesteuert, und das RAM 127 wird zur temporären Speicherung von Daten bei der Steuerung und der Berechnung verwendet.

Allerdings gibt es bei einer derartigen konventionellen Vorrichtung in der Hinsicht ein Problem, daß die Augen eines Fahrers, welcher tagsüber die Brille 131 trägt, nicht fotografiert werden können, infolge einer Reflexion der Gläser der Brille 131.

Fig. 26 zeigt Beispiele für das spektroskopische Reflexionsvermögen eines Brillenglases aus Glas oder Kunststoff. Seit einiger Zeit sind praktisch sämtliche Brillen 131 auf der Oberfläche der Gläser der Brille mit einer Beschichtung zur Verhinderung von Reflexionen versehen. Das spektroskopische Reflexionsvermögen eines derartigen beschichteten Brillenglases wird im nahen Infrarotbereich drastisch erhöht, wie im Vergleich zum Falle eines nicht beschichteten Glases gezeigt ist. Beim Fahren eines Fahrzeugs fährt der Fahrer 130 normalerweise so, daß er etwas nach oben schaut. In einem derartigen Fall wird eine weiße Wolke oder ein Teil der Außenumgebung durch die Brille 131 des Fahrers 130 reflektiert, und können die Augen in dem Gesichtsbild des Fahrers 130, welches von der konventionellen Gesichtsaufnahmevorrichtung 100 fotografiert würde, selbst bei einer unbeschichteten Brille schlecht erkannt werden. Insbesondere im Falle einer beschichteten Brille können die Augen überhaupt nicht wahrgenommen werden, infolge der Oberflächenreflexion der Gläser der Brille, wie in Fig. 28 gezeigt ist, infolge des hohen spektroskopischen Reflexionsvermögens der Brillengläser im nahen Infrarotbereich.

Daher ist die voranstehend beschriebene Vorrichtung in der Hinsicht nachteilig, daß das Einnicken oder ein Blick zur Seite des Fahrers nicht erfaßt werden kann.

Abgesehen von den voranstehend beschriebenen Vorrichtungen gibt es weitere Vorrichtungen, die das Gesichtsfeld bzw. die Augen eines Fahrers überwachen. Die DE 44 41 332 A1 beschreibt eine Fahrer-Photographiervorrichtung mit einer speziellen Möglichkeit, um an der Netzhaut eines Fahrers reflektierte Bilder leicht und klar photographieren zu können. Eine LED ist so angeordnet, daß über einen Reflektionsspiegel Licht auf das Auge des Fahrers einfällt, das dann durch eine Lichterfassungseinrichtung in Form einer CCD-Kamera erfaßt wird. Hier ist die LED unter einem Winkel zu der Aufnahmevorrichtung angeordnet, jedoch ist der Winkel nicht bezüglich einer Brillenreflektion des Fahrers definiert, von dem hier nicht angenommen wird, daß er eine Brille trägt.

Die ältere Anmeldung DE 195 09 689 A1 betrifft einen Körperzustands-Erfassungsapparat, bei dem das Licht einer LED auf eine Person einfällt und dann auf einer CCD-Kamera zu liegen kommt. Hier ist der Winkel nicht speziell bezüglich einer Brillenreflektion eingestellt, so daß hier keinerlei Betrachtungen bezüglich der Reflektion von einer Brille angestellt werden. Auch ist hier offen gelassen, wann die LED ein- bzw. ausgeschaltet werden soll, wenn eine Augenerfassung ausgeführt wird.

Die ältere Anmeldung DE 196 13 614 A1 betrifft eine Vorrichtung zur Bearbeitung eines Bilds eines Gesichts, insbesondere eine Augenerfassungseinrichtung, um die Augenmerkmale und die Gesichtsmerkmale aus dem Bild zu extrahieren. Eine Lichtquelle bestrahlt eine Person frontal, wobei eine Kamera unter einem Winkel angeordnet ist. Betrachtungen hinsichtlich der Reflektion von Brillengläsern und auch einer speziellen Ein/Aus-Schaltung der Lichtquelle werden hier nicht angestellt.

Aufgabe der Erfindung ist es nunmehr, eine Gesichtsbild- Aufnahmevorrichtung bereitzustellen, die auch dann eine genaue Erfassung des Augenzustands einer Person ermöglicht, wenn Reflektionen von Lichtstrahlen am Auge oder an einem Brillenglas auftreten.

Diese Aufgabe wird durch eine Gesichtsbild-Aufnahmevorrichtung gemäß Patentanspruch 1 gelöst. Weitere vorteilhalfte Ausführungsformen und Verbesserungen der Erfindung sind in den Unteransprüchen angegeben.

Nachstehend wird die Erfindung anhand ihrer Ausführungsformen unter Bezugnahme auf die Zeichnungen näher erläutert. In den Zeichnungen zeigen:

Fig. 1 eine schematische Ansicht einer Fahrerzustandserfassungsvorrichtung mit einer Gesichtsbildaufnahmevorrichtung gemäß Ausführungsform 1;

Fig. 2 ein Flußdiagramm zur Erfassung des Zustands eines Fahrers bei der Ausführungsform 1;

Fig. 3 eine schematische Ansicht des Bildes des Gesichts eines Fahrers, der eine Brille trägt;

Fig. 4 eine erläuternde Ansicht zur Einstellung von Bereichen, in denen Augen vorhanden sind;

Fig. 5 eine erläuternde Ansicht der Lichtreflexion am Gesicht eines Fahrers;

Fig. 6 ein Beispiel für das Bild des Gesichts, welches eine Brille trägt, in einem hellen Zustand, und welches durch die Gesichtsbildaufnahmevorrichtung gemäß Ausführungsform 1 aufgenommen wird;

Fig. 7 ein Flußdiagramm in bezug auf das Herausziehen der Augen;

Fig. 8 ein X-Achsen-Histogramm eines Bereichs, in welchem ein Auge vorhanden ist;

Fig. 9 X-Achsen-Histogramme von Kandidatenbereichen;

Fig. 10 ein Blockschaltbild einer Bildsignalbearbeitungsschaltung;

Die Erfindung wird nachstehend anhand zeichnerisch dargestellter Ausführungsbeispiele näher erläutert, aus welchen weitere Vorteile und Merkmale hervorgehen. Es zeigt:

Fig. 1 eine schematische Ansicht einer Fahrerzustandserfassungsvorrichtung mit einer Gesichtsbildaufnahmevorrichtung gemäß Ausführungsform 1;

Fig. 2 ein Flußdiagramm zur Erfassung des Zustands eines Fahrers bei der Ausführungsform 1;

Fig. 3 eine schematische Ansicht des Bildes des Gesichts eines Fahrers, der eine Brille trägt;

Fig. 4 eine erläuternde Ansicht zur Einstellung von Bereichen, in denen Augen vorhanden sind;

Fig. 5 eine erläuternde Ansicht der Lichtreflexion am Gesicht eines Fahrers;

Fig. 6 ein Beispiel für das Bild des Gesichts, welches eine Brille trägt, in einem hellen Zustand, und welches durch die Gesichtsbildaufnahmevorrichtung gemäß Ausführungsform 1 aufgenommen wird;

Fig. 7 ein Flußdiagramm in bezug auf das Herausziehen der Augen;

Fig. 8 ein X-Achsen-Histogramm eines Bereichs, in welchem ein Auge vorhanden ist;

Fig. 9 X-Achsen-Histogramme von Kandidatenbereichen;

Fig. 10 ein Blockschaltbild einer Bildsignalbearbeitungsschaltung;

Fig. 11 ein Diagramm der Regeleigenschaften einer automatischen Verstärkungsregelschaltung;

Fig. 12 ein Flußdiagramm zur Erfassung des Zustands eines Fahrers bei der Ausführungsform 4;

Fig. 13 ein Flußdiagramm zur Erfassung einer Brille bei der Ausführungsform 4;

Fig. 14 eine schematische Ansicht einer Fahrerzustandserfassungsvorrichtung mit einer Gesichtsbildaufnahmevorrichtung gemäß Ausführungsform 5;

Fig. 15 ein Beispiel für das Bild eines Gesichts in dunklem Zustand;

Fig. 16 eine schematische Ansicht einer Fahrerzustandserfassungsvorrichtung mit einer Gesichtsbildaufnahmevorrichtung bei Ausführungsform 6;

Fig. 17 eine perspektivische Ansicht des Aussehens einer Bildaufnahmeeinheit a bei der Ausführungsform 6;

Fig. 18 eine Schnittansicht der Bildaufnahmeeinheit a gemäß Ausführungsform 6;

Fig. 19 ein Eigenschaftsdiagramm der spektroskopischen Transmissionsvermögens eines zusammengesetzten optischen Filters;

Fig. 20 ein Eigenschaftsdiagramm des spektroskopischen Transmissionsvermögens eines zusammengesetzten optischen Filters gemäß Ausführungsform 7;

Fig. 21 eine schematische Ansicht einer Fahrerzusandserfassungsvorrichtung mit einer Gesichtsbildaufnahmevorrichtung gemäß Ausführungsform 10;

Fig. 22 eine Schnittansicht einer Bildaufnahmeeinheit a von Ausführungsform 10;

Fig. 23 eine perspektivische Ansicht einer Filterwechseleinheit von Ausführungsform 10;

Fig. 24 ein Eigenschaftsdiagramm des spektroskopischen Transmissionsvermögens eines optischen Filters bei der Ausführungsform 10;

Fig. 25 eine schematische Ansicht einer Fahrerzustandserfassungsvorrichtung mit einer konventionellen Gesichtsbildaufnahmevorrichtung;

Fig. 26 Eigenschaftsdiagramme des spektroskopischen Reflexionsvermögens verschiedener Brillengläser;

Fig. 27 ein Eigenschaftsdiagramm des spektroskopischen Transmissionsvermögens eines Abschneidefilters für sichtbares Licht, welches bei der konventionellen Gesichtsbildaufnahmevorrichtung verwendet wird; und

Fig. 28 ein Beispiel für das Bild eines Gesichts, welches eine Brille trägt, in einem hellen Zustand, wobei das Bild durch die konventionelle Gesichtsbildaufnahmevorrichtung aufgenommen wurde.

AUSFÜHRUNGSFORM 1

Die Fig. 1 bis 19 zeigen eine Ausführungsform einer Gesichtsbildaufnahmevorrichtung gemäß der vorliegenden Erfindung, wobei Fig. 1 eine schematische Ansicht einer Fahrerzustandserfassungsvorrichtung mit einer Gesichtsbildaufnahmevorrichtung ist, Fig. 2 ein Flußdiagramm zur Beschreibung der Erfassung des Zustands eines Fahrers, Fig. 3 eine schematische Ansicht des Bildes des Gesichts eines Fahrers, der eine Brille trägt, Fig. 4 eine erläuternde Ansicht zur Verdeutlichung der Einstellung von Bereichen, in denen Augen vorhanden sind, Fig. 5 eine erläuternde Ansicht der Lichtreflexion am Gesicht eines Fahrers, Fig. 6 ein Beispiel für das Bild eines Gesichts, welches eine Brille trägt, in einem hellen Zustand, wobei das Bild von einer Gesichtsbildaufnahmevorrichtung gemäß der vorliegenden Erfindung aufgenommen wird, Fig. 7 ein Flußdiagramm zur Beschreibung des Herausziehens von Augen ist, Fig. 8 ein X- Achsen-Histogramm eines Bereichs ist, in welchem Augen vorhanden sind, und Fig. 9 X-Achsen-Histogramme von Kandidatenbereichen zeigt. Nachstehend erfolgt eine Erläuterung dieser Ausführungsform unter Bezugnahme auf die Zeichnungen.

In Fig. 1 ist mit "a" eine Gesichtsbildaufnahmeeinheit bezeichnet, mit "b" eine Gesichtsbildbearbeitungseinheit, und mit "c" eine Kameraeinheit. In Fig. 1 bezeichnet das Bezugszeichen 1 eine CCD als zweidimensionale Bildaufnahmevorrichtung zum Aufnehmen eines Bildes eines vorbestimmten Bereiches einschließlich des Gesichts eines Fahrers, wobei Pixel (Bildpunkte) in einer Anzahl von 768 × 493 oder insgesamt 380.000 verwendet werden. Das Bezugszeichen 2 bezeichnet eine Bildsignalbearbeitungsschaltung zur Bearbeitung von Signalen von der CCD 1, und das Bezugszeichen 3 bezeichnet eine Bildaufnahmelinse (oder ein Bildaufnahmeobjektiv), die auf einer optischen Achse vor der CCD 1 vorgesehen ist, und das Bezugszeichen 4 bezeichnet ein Abschneidefilter für sichtbares Licht als optisches Filter zum Abschneiden sichtbaren Lichts, welches auf die Bildaufnahmelinse 3 fällt, und welches auf der optischen Achse noch vor der Bildaufnahmelinse 3 angeordnet ist. Das Abschneidefilter 4 für sichtbares Licht weist die in Fig. 27 gezeigten spektroskopischen Eigenschaften auf. Die Kameraeinheit c, welche durch die CCD 1, die Bildsignalbearbeitung 2, die Bildaufnahemlinse 3 und das Abschneidefilter 4 für sichtbares Licht gebildet wird, ist auf einem Armaturenbrett, einer Instrumententafel und dergleichen am Ort des Fahrersitzes vorgesehen, und fotografiert einen vorbestimmten Bereich einschließlich des Gesichts des Fahrers von vor dem Fahrer aus in Richtung auf eine Richtung, in welcher das Gesicht in dessen Längsrichtung den 768 Pixel der CCD 1 entspricht. Es ist besonders vorteilhaft zum Herausziehen von Augenbereichen, den Aufnahmewinkel so auszubilden, daß er von vorn nach hinten zum Gesicht hin absinkt.

Das Bezugszeichen 5 bezeichnet eine Beleuchtungssteuerschaltung als Erregervorrichtung zum Erregen oder Stoppen einer Infrarotstrahllichtquelle durch Empfang eines Ausgangssignals von einer CPU, wie nachstehend noch erläutert wird. Das Bezugszeichen 6 bezeichnet eine Infrarotstrahllichtquelle als Infrarotstrahlbeleuchtungsvorrichtung zum Aufstrahlen eines Infrarotstrahls in Richtung zum Gesicht des Fahrers oder in einer Richtung einschließlich der Umgebung, wobei die Lichtquelle durch die Beleuchtungssteuerschaltung 5 erregt wird. Die Infrarotstrahllichtquelle 6 ist in einer solchen Position angebracht, daß normal reflektiertes Licht "r", welches durch Reflexion des Strahls im nahen Infrarot, der von der Lichtquelle 6 im nahen Infrarot ausgestrahlt wird, durch Gläser der Brille des Fahrers erzeugt wird, nicht direkt auf die Bildaufnahmelinse 3 der Kameraeinheit c auftrifft. Genauer gesagt ist die Lichtquelle 6 für Strahlen im nahen Infrarot an einem Ort angeordnet, der oberhalb, unterhalb, links oder rechts von der Kameraeinheit c angeordnet ist, so daß der Winkel, der durch die optische Achse des Strahls im nahen Infrarot, der von der Lichtquelle 6 für Strahlen im nahen Infrarot ausgestrahlt wird, und die optische Achse der Kameraeinheit c ausgebildet wird, annähernd 20° bis 30° oder mehr beträgt.

Das Bezugszeichen 7 bezeichnet einen Beleuchtungssensor als Helligkeits/Dunkelheits-Erfassungsvorrichtung zur Erfassung der Helligkeit der Umgebung oder des Gesichts des Fahrers, und zur Erfassung, ob sich dieses in einem hellen Zustand oder einem dunklen Zustand befindet, wobei der Sensor an einem solchen Ort angeordnet ist, beispielsweise am Armaturenbrett oder in einem Abschnitt des Fahrzeugs unterhalb eines Rückfensters und dergleichen, daß er die Helligkeit in der Umgebung oder im Gesicht des Fahrers feststellt.

Die Gesichtsbildbearbeitungseinheit b ist folgendermaßen aufgebaut. In Fig. 1 bezeichnet das Bezugszeichen 10 eine Eingangs- I/F, die verschiedene Signale empfängt, beispielsweise CCD-Aufnahmetaktsignale oder Verschlußsignale der Bildsignalbearbeitungsschaltung 2, und ein Ausgangssignal von dem Beleuchtungssensor 7 empfängt, das Bezugszeichen 11 bezeichnet einen A/D -Wandler, welchem ein Bildausgangssignal von der Bildsignalbearbeitungsschaltung zugeführt wird, das Bezugszeichen 12 bezeichnet eine Bildbearbeitungshardware (H/W), die durch Gatearrays oder digitale Signalprozessoren (DSP) gebildet wird, und an welche der Ausgang des A/D- Wandlers 11 angeschlossen ist, das Bezugszeichen 13 bezeichnet einen Bildspeicher, der an die Bildbearbeitungs- H/W 12 angeschlossen ist, und das Bezugszeichen 14 bezeichnet eine Ausgangs-I/F, welche Befehle von einer CPU 15 ausgibt, welche Berechnungen durchführt, und bei welcher zumindest einer ihrer Ausgänge an die Beleuchtungssteuerschaltung 5 angeschlossen ist.

Das Bezugszeichen 16 bezeichnet ein ROM, in welchem verschiedene Programme oder numerische Werte gespeichert sind, das Bezugszeichen 17 bezeichnet ein RAM, in welchem temporär Werte während der Berechnung gespeichert und gehalten werden, und das Bezugszeichen 18 bezeichnet eine Ausgangs-I/F, welche an verschiedene Instrumente in nachgeschalteten Stufen angeschlossen ist. Die Eingangs-I/F 10, der A/D-Wandler 11, die Bildbearbeitungs-H/W 12, der Bildspeicher 13, der ROM 16, das RAM 17, und die Ausgangs-I/F 18 sind über einen Bus an die CPU 15 angeschlossen.

Fig. 2 ist ein Flußdiagramm zur Beschreibung der Erfassung des Zustands eines Fahrers. Obwohl eine Steuerung durch die Gesichtsbildaufnahmevorrichtung zum Einschalten der Lichtquelle für Strahlen im nahen Infrarot im dunklen Zustand wie beispielsweise bei Nacht vorhanden ist, wird dies bei der Ausführungsform 1 nicht im einzelnen beschrieben.

Nachstehend erfolgt eine Beschreibung des Betriebsablaufs der Ausführungsform 1 unter Bezugnahme auf Fig. 2. Bei einer Bildeingabevorrichtung im Schritt ST10 wird ein Bildsignal VOUT eines in Fig. 3 gezeigten Originalbilds, welches durch die CCD 1 aufgenommen wird, in ein digitales Gradationsbildsignal umgewandelt, welches an die Bildbearbeitungs-H/W 12 ausgegeben wird, wobei dadurch kleine Rauschbestandteile entfernt werden, daß das Signal durch ein geeignetes Glättungsfilter geleitet wird. In einer Float- Binärumwandlungsvorrichtung des Schritts ST20 wird das Signal float-binär gewandelt in ein binäres Bild durch die Bildbearbeitungs-H/W 12, und wird die Länge eines Pixels, welches etwas länger als die Breite in der Längsrichtung des Auges ist, auf eine vorbestimmte Länge gesetzt. Im Schritt ST22 werden dunkle Blöcke entfernt, die jeweils größer sind als die vorbestimmte Länge in der Längsrichtung des Gesichts. Im Schritt ST22 wird ein binäres Bild 201, in welchem ein Haarbereich, der sich bei verschiedenen Personen wesentlich unterscheiden kann, im wesentlichen entfernt ist, wie in Fig. 4 gezeigt, in den Bildspeicher 13 eingegeben und dort gespeichert. Daraufhin führt im Schritt ST30 eine Augenherausziehvorrichtung das Herausziehen von Augen aus dem Gesichtsbild durch, mit Hilfe eines Zugriffs auf das binäre Bild 201 in dem Bildspeicher 13 unter teilweiser Verwendung der Bildbearbeitungs-H/W 12. Im Schritt ST30 wird eine Augenherausziehroutine durchgeführt, die später noch genauer erläutert wird. Wenn die voranstehend geschilderte Augenherausziehroutine von der Augenherausziehvorrichtung als Augenerfassungsvorrichtung im Schritt ST3 beendet wurde, wird im Schritt ST31 ermittelt, ob eine Augenherausziehmarke eingeschaltet (ON) ist oder nicht.

Hierbei ist die Augenerfassungsmarke ausgeschaltet (OFF) bei einem Gesichtsbild, bei welchem die Augen überhaupt nicht wahrgenommen werden, infolge der Oberflächenreflexion der Brillengläser, wie in Fig. 28 gezeigt, da die Augen bei der Augenherausziehroutine ST30 nicht festgestellt werden. Ist die Augenerfassungsmarke OFF, so geht der Betriebsablauf zum Schritt zum Schritt ST32 über, in welchem ein Helligkeits/Dunkelheits-Signal des Beleuchtungssensors 7 von der Eingangs-I/F 10 gelesen wird und festgestellt wird, ob die Außenumgebung hell ist oder nicht, auf Grundlage des Helligkeits/Dunkelheits-Signals. Wird festgestellt, daß die Außenumgebung hell ist, so wird ermittelt, daß die Augen infolge der Oberflächenreflexion der Brillengläser nicht herausgezogen werden konnten, und dann schaltet der Betriebsablauf die Lichtquelle 6 für Strahlen im nahen Infrarot ein, durch Aussenden eines Beleuchtungssteuersignals, um die Brillenreflexion zu entfernen, von der Ausgangs-I/F 14 an die Beleuchtungssteuerschaltung 5 im Schritt ST40, wodurch das Gesicht des Fahrers oder die Umgebung einschließlich des Gesichtes beleuchtet wird.

Nunmehr erfolgt eine Erläuterung der Gründe zum Bestrahlen eines Strahls im nahen Infrarot auf das Gesicht des Fahrers, wenn die Augen infolge der Oberflächenreflexion der Brillengläser nicht festgestellt werden können.

Fig. 5 ist ein Diagramm, welches Reflektions-Lichtflüsse und Transmissions-Lichtflüsse an einem Auge "e" und einer Brille "g" in einem Fall zeigt, in welchem ein Lichtfluß Φi von einem äußeren Gegenstand "i" und ein Lichtfluß ΦL von der Lichtquelle 6 für einen Strahl im nahen Infrarot das Gesicht eines Fahrers beleuchten, welcher die Brille "g" trägt. In Fig. 5 wird ein Lichtfluß Φ, welcher in die Kameraeinheit c eintritt, durch folgende Gleichung (1) ausgedrückt

Φ = ΦiR + ΦiT + ΦLT (1)

wobei ΦiR ein Reflexions-Lichtfluß des Lichtflusses Φi ist, der durch die Brille g reflektiert wird, ΦiT ein diffuser Reflexions-Lichtfluß des Lichtflusses Φi ist, welcher vom Auge e eines Fahrer "p" reflektiert wird, nachdem er durch die Brille "g" hindurchgelangt ist, und ΦLT ein entsprechender, diffuser Reflexions-Lichtfluß eines Strahlungslichtflusses ΦL von der Lichtquelle 6 für Strahlen im nahen Infrarot ist, reflektiert vom Auge e.

Wie voranstehend geschildert ist die Lichtquelle 6 für Strahlen im nahen Infrarot so angeordnet, daß der Winkel, der durch die optische Achse ihres Beleuchtungslichtes und die optische Achse der Kameraeinheit c gebildet wird, größer oder gleich einem vorbestimmten Winkel ist, und daher trifft ein Reflexions-Lichtfluß ΦLR des Bestrahlungs-Lichtflusses ΦL von der Lichtquelle 6 für Strahlen im nahen Infrarot, der vom Glas der Brille g reflektiert wird, nicht auf die Kameraeinheit c auf.

Wenn eine Bildhelligkeit auf der CCD 1 dadurch beschrieben wird, daß sie entsprechend des Reflektions-Lichtflusses klassifiziert wird, der von der Brille g reflektiert wird, und entsprechend dem diffusen Reflexions-Lichtfluß, der von dem Auge e reflektiert wird, so werden die Helligkeit ΦR infolge des Reflexions-Lichtflusses durch die Brille g und eine Helligkeit ΦT infolge des diffusen Lichtflusses durch das Auge e jeweils durch eine der folgenden Gleichungen (2) ausgedrückt

ΦR = ΣλΦiR(λ)F(λ)R(λ)
ΦT = ΣλΦiT(λ) + ΦLT)F(λ)R(λ) (2)

wobei F(λ) eine spektroskopische Transmissionscharakteristik des optischen Filters 4 ist, und R(λ) eine spektroskopische Empfindlichkeitscharakteristik der CCD 1 ist. Das Verhältnis K der Helligkeit ΦT infolge des diffusen Reflexions- Lichtflusses durch das Auge e zur Gesamthelligkeit des Bildes wird durch die folgende Gleichung (3) gegeben.

K = ΦT/(ΦR + ΦT) (3)

Je größer das Verhältnis K ist, desto deutlicher kann das Auge e festgestellt werden.

Wie aus der Gleichung (3) deutlich wird, wird in einem Fall, in welchem das Auge nicht erkannt werden kann, da das Verhältnis der Helligkeit ΦR infolge des Reflexions- Lichtflusses durch die Brille g zur Helligkeit ΦT groß ist, das Verhältnis von ΦT zu ΦR dadurch erhöht, daß ΦLT hinzuaddiert wird durch Einschalten der Lichtquelle 6 für Strahlen im nahen Infrarot.

Daher können die Augen dadurch deutlich wahrgenommen werden, daß der Strahl im nahen Infrarot hinzugefügt wird, selbst wenn eine Reflexion durch die Brillengläser auftritt.

Fig. 6 zeigt ein Bild, das entsteht, wenn das Gesicht des Fahrers p durch Einschalten der Lichtquelle 6 für Strahlen im nahen Infrarot in dem Zustand des Bildes in Fig. 28 beleuchtet wird, in welchem die Augen nicht beobachtet werden, infolge der Oberflächenreflexion der Gläser der Brille g. Wie gezeigt werden infolge der Beleuchtung durch die Lichtquelle 6 im nahen Infrarot die Augen deutlich wahrgenommen.

Die Außenumgebung ist dunkel, wenn das Ergebnis N (nein) der Abfrage im Schritt ST32 erhalten wird. In diesem Fall geht der Betriebsablauf im Schritt ST41 über und führt eine Beleuchtungssteuerung im dunklen Zustand durch.

Nach Erregung der Lichtquelle 6 für nahes Infrarot zur Beseitigung des Einflusses der Reflexion durch die Brille g kehrt die Hauptroutine zum Schritt ST10 zurück, und führt nacheinander die voranstehend geschilderten Schritte durch. Im Schritt ST31 ist beim zweiten Durchlauf das Resultat Y (ja), da die Augen festgestellt werden, und daher geht es nunmehr mit dem Schritt ST33 weiter.

Die folgenden Schritte ST33 bis ST35 sind eine Verarbeitung zum Stoppen der erregten Lichtquelle 6 für nahes Infrarot.

Wenn die Augen nicht ermittelt werden können, wird im Schritt ST40 die Lichtquelle 6 im nahen Infrarot erregt, wodurch die Augen unabhängig von der Reflexion durch die Brille g erfaßt werden können. Allerdings hält die Reflexion durch die Brille g nicht über einen langen Zeitraum an und verschwindet nach vergleichsweise kurzer Zeit entsprechend einer Änderung der Umgebungssituation.

Demzufolge wird in den Schritten ST33 bis ST35 die Beleuchtung mit den Infrarotstrahlen einmal gestoppt, nachdem ein vorbestimmter Zeitraum abgelaufen ist, seit die Lichtquelle 6 für Strahlen im nahen Infrarot erregt wurde, und wenn die Augen im Schritt ST31 festgestellt werden, wird bei einer darauffolgenden Verarbeitung ermittelt, daß die Reflexion durch die Brille g weggefallen ist, und dann wird der Zustand des Stoppens der Lichtquelle 6 für Strahlen im nahen Infrarot beibehalten. Wenn die Augen nicht festgestellt werden können, so wird festgestellt, daß die Reflexion durch die Brille g andauert, und dann wird die Lichtquelle 6 für Strahlen im nahen Infrarot erneut im Schritt ST40 bei der darauffolgenden Verarbeitung erregt.

Wenn im Schritt ST31 bestätigt wird, daß die Augenerfassungsmarke ON ist, dann wird im Schritt ST33 festgestellt, ob die Beleuchtung zur Ausschaltung der Brillenreflexion durch die Lichtquelle 6 für Strahlen im nahen Infrarot durchgeführt wird oder nicht. Wird die Beleuchtung zur Ausschaltung von Brillenreflexionen durchgeführt, so wird der abgelaufene Beleuchtungszeitraum im Schritt ST34 untersucht, und wenn ein vorbestimmter Zeitraum abgelaufen ist, wird im Schritt ST35 die Beleuchtung zur Ausschaltung der Brillenreflexion einmal ausgeschaltet. Der vorbestimmte Zeitraum kann mehrere Minuten oder weniger betragen, unter Berücksichtigung des Zeitraums für das Andauern der Reflexion infolge der Brille. Auf diese Weise kann die Zeit der Benutzung der Lichtquelle 6 für Strahlen im nahen Infrarot bei einer hellen Außenumgebung minimalisiert werden.

Wenn wie voranstehend geschildert die Augen des Fahrers festgestellt werden können, wird auf dieser Grundlage der Zustand des Fahrers ermittelt.

Bei einer Blinzel-Erfassungsvorrichtung im Schritt ST50 wird das Blinzeln des Fahrers p (der Fahrer blinzelt mit den Augen) durch den Öffnungs-/Schließzustand des herausgezogenen Auges e des Fahrers p festgestellt. Bei einer Einschlaf- Ermittlungsvorrichtung in dem darauffolgenden Schritt ST60 wird das Einschlafen auf der Grundlage des Blinzelzustandes festgestellt, und ein Alarm an den Fahrer p ausgesandt, um ihn aufzuwecken, durch eine Alarmvorrichtung ST70 entsprechend dem Schlafzustand.

Nachstehend erfolgt eine Erläuterung der Augenherausziehroutine der Augenherausziehvorrichtung im Schritt ST30.

In Fig. 7 werden ein X-Achsen-Histogramm SUMX sowie ein Y- Achsen-Histogramm SUMY des Bildes dadurch berechnet, daß ein binärer Pegel des binären Bildes 201 jeweils in der X- Achsenrichtung bzw. der Y-Achsenrichtung berechnet wird, wie in Fig. 4 gezeigt, im Schritt ST301. Schwerpunktsorte XFC und YFC des jeweiligen Histogramms SUMY bzw. SUMX werden berechnet und als Flächenschwerpunktskoordinaten FC (XFC, YFC) definiert, und ein Lichtkandidatenexistenzbereich 202 mit einer X-Achsenrichtungslänge ECAH und einer Y- Achsenrichtungslänge ECAY wird eingestellt, wobei ein Punkt PER gegenüber dem Flächenschwerpunkt FC um XECA in der X- Achsenrichtung und YECA in der Y-Achsenrichtung als Startpunkt im Schritt ST302 verschoben wird, und ein linker Kandidatenexistenzbereich 202 mit denselben Abmessungen entsprechend eingestellt wird, mit einem Punkt PEL als Startpunkt.

Dann wird im Schritt ST303 ein Y-Achsen-Histogramm SUMY in dem Kandidatenexistenzbereich 202 wie in Fig. 8 gezeigt berechnet, und werden Bereiche, in denen jeweils SUMY größer oder gleich einer vorbestimmten Schwelle SHL ist, werden als Kandidatenbereichsbänder 203 festgelegt.

In Fig. 8 werden ein Bereichsband BER1 entsprechend einer Augenbraue, ein Bereichsband BER2 entsprechend einem Brillengestell, und ein Bereichsband BER3 entsprechend einem Auge als die Kandidatenbereichsbänder 203 registriert. Zwar ist nur ein Kandidatenexistenzbereich 202 in Fig. 8 gezeigt, jedoch werden selbstverständlich die anderen Kandidatenexistenzbereiche 202 auf entsprechende Weise bearbeitet.

Weiterhin werden im Schritt ST304 X-Achsen-Histogramme SUMX in den jeweiligen Kandidatenbereichsbändern 203 wie in Fig. 9 gezeigt berechnet, und werden Bereiche, in denen jeweils SUMX entsprechend größer oder gleich einer vorbestimmten anderen Schwelle SHL ist, als Kandidatenbereiche 204 eingestellt. In Fig. 9 werden als die Kandidatenbereiche 204 ein Bereich BER11 entsprechend der Augenbraue, ein Bereich BER21 entsprechend dem Brillengestell, und ein Bereich BER31 entsprechend dem Auge registriert. Im Schritt ST306 werden ein Maximalwert SUMXMAX und eine Streuung einer Abweichung von dem Maximalwert (SUMXMAX - SUMX) usw. aus dem X-Achsen- Histogramm SUMX jedes der registrierten Kandidatenbereiche 204 berechnet, wodurch eine Augenbewertungsfunktion in bezug auf jeden der Kandidatenbereiche 204 berechnet wird. Wie in Fig. 9 gezeigt weist SUMX in dem Augenbereich solche Eigenschaften auf, daß sowohl der Maximalwert als auch die Streuung der Abweichung größer sind als die entsprechenden Werte in den anderen Bereichen.

Als nächstes wird im Schritt ST307 einzeln nacheinander jeder der Kandidatenbereiche 204 gelesen. Im Schritt ST308 wird bestimmt, ob die Bewertungsfunktion in einem vorbestimmten Bereich liegt, in welchem sie das Auge zeigt. Wenn einer der Kandidatenbereiche 204 nicht als das Auge festgestellt wird, wird der Kandidatenbereich 204 im Schritt ST309 inkrementiert (schrittweise erhöht), und wird ein entsprechender Vorgang in bezug auf die darauffolgenden Kandidatenbereiche durchgeführt. Wenn im Schritt ST307 kein zu beurteilender Kandidatenbereich 204 vorhanden ist, wird im Schritt ST312 die Augenerfassungsmarke ausgeschaltet (OFF), und die Verarbeitung zur Rückkehr zur Hauptroutine veranlaßt. Wenn es Kandidatenbereiche 204 gibt, die im Schritt ST308 als das Auge erkannt werden, so wird im Schritt ST310 der niedrigste der Kandidatenbereiche 204, die als dem Auge entsprechend ermittelt wurden, als dem Auge entsprechend identifiziert, und wird die Augenherausziehroutine dadurch beendet, daß im Schritt ST311 die Augenerfassungmarke eingeschaltet (ON) wird.

Wie voranstehend geschildert können bei dieser Ausführungsform die Augen einfach selbst dann beobachtet werden, wenn die Außenumgebung oder dergleichen von der Brille g reflektiert wird, die von dem Benutzer p getragen wird.

Weiterhin ist es nicht erforderlich, die Lichtquelle 6 im nahen Infrarot in einem Fall zu benutzen, in welchem die Außenumgebung nicht von der Brille g reflektiert wird, und daher stellt die Erfindung in der Hinsicht einen Vorteil zur Verfügung, daß die Zeit der Benutzung der Lichtquelle 6 für Strahlen im nahen Infrarot soweit wie möglich begrenzt wird, wodurch der stündliche mittlere Energieverbrauch verringert wird, und die Lebensdauer der Lichtquelle 6 im nahen Infrarot verlängert wird.

AUSFÜHRUNGSFORM 2

Obwohl im Falle der voranstehend geschilderten Ausführungsform 1 der Beleuchtungssensor 7 als die Helligkeits/Dunkelheits-Erfassungsvorrichtung verwendet wird ist es möglich, die Helligkeit/Dunkelheit ohne Verwendung des Beleuchtungssensors 7 zu bestimmen. Es ist nämlich möglich, ein Verfahren zur Bestimmung der Helligkeit/Dunkelheit aus der Helligkeit in der Nähe des Fahrers p einzusetzen, ohne den Helligkeits/Dunkelheitszustand der Außenumgebung zu verwenden, also mit anderen Worten möglich, einen Wert entsprechend der Helligkeit des Gesichtsbildes des Fahrers p zu verwenden.

Fig. 10 ist ein Blockschaltbild einer Bildsignalbearbeitungsschaltung 2, und Fig. 11 ist ein Diagramm der Regelcharakteristik einer automatischen Verstärkungsregelschaltung (AGC).

Zuerst erfolgt eine Erläuterung des Betriebsablaufs der Bildsignalbearbeitungsschaltung 2.

In Fig. 10 steuert eine CCD-Steuerschaltung 20 Fotoaufnahmezeitpunkte der CCD 1 und eine Bildspeicherzeit (nachstehend als Verschlußzeit bezeichnet), und gibt das fotografierte Bild als ein Bildsignal VOUT aus. Eine AGC- Regelschaltung 22 berechnet die mittlere Bildhelligkeit L durch Integrieren eines Ausgangssignals eines Verstärkers 21 mit einstellbarer Verstärkung, und regelt die Verstärkung des Verstärkers 21 mit einstellbarer Verstärkung so, daß eine AGC-Regelspannung VAGC gleich einer vorbestimmten Soll- Regelspannung wird, durch Rückkoppeln der AGC-Regelspannung VAGC entsprechend der mittleren Bildhelligkeit L gemäß Fig. 11 an den Verstärker 21 mit einstellbarer Verstärkung. Das Helligkeitssignal VOUT in einem Fall, in welchem die mittlere Bilddichte durch den Verstärker 21 mit einstellbarer Verstärkung gesteuert wird, wird in den A/D-Wandler 11 der Gesichtsbildbearbeitungseinheit b eingegeben und in ein digitales Gradationsbild umgewandelt.

Die AGC-Regelspannung VAGC wird mit einer Spannung V1 entsprechend einer minimalen Helligkeit L1 und einer Spannung Vh entsprechend einer maximalen Helligkeit Lh verglichen, die in Fig. 11 gezeigt sind, in Vergleichsschaltungen 25 und 26, und das jeweilige Vergleichsergebnis wird in eine elektronische Verschlußsteuerschaltung 27 eingegeben. Wenn die mittlere Bildhelligkeit L des Gesichtsbildes des Fahrers p sich ändert und den Regelbereich V1 bis Vh überschreitet, der durch die AGC-Regelschaltung 22 vorgegeben ist, wenn der Helligkeitszustand der Außenumgebung in bezug auf das Fahrzeug sich ändert, beispielsweise die Höhe und Richtung der Sonne, das Wetter, das Vorhandensein oder die Abwesenheit von Schatten oder dergleichen, und beispielsweise die Helligkeit L niedriger ist als die minimale Helligkeit L1, so erhöht die elektronische Verschlußsteuerschaltung 27 die Verschlußzeit um einen Schritt, und im Gegensatz hierzu wird, wenn die Helligkeit höher ist als die maximale Helligkeit Lh, die Verschlußzeit um einen Schritt verringert. Hierdurch wird die Verschlußzeit der CCD1 in der CCD-Regelschaltung 20 in mehreren Schritten von 1/60 auf 1/10000 Sekunde gesteuert, so daß die AGC-Regelung immer vorhanden ist, also die AGC- Regelspannung VAGC in dem Bereich von V1 bis Vh liegt, und der momentane Verschlußschritt wird an die Eingangs-I/F 10 der Gesichtsbildbearbeitungseinheit b als ein Verschlußsignal SS geschickt.

Weiterhin wird die AGC-Regelpannung VAGC entsprechend der mittleren Bildhelligkeit L an den A/D-Wandler 11 als ein Spannungssignal VAGC über eine Verstärkungsschaltung 23 und einen Puffer 24 geschickt.

Zwar erfolgte bei der Ausführungsform 1 insoweit keine detaillierte Beschreibung, jedoch wird die Beleuchtungssteuerung wie nachstehend erläutert durchgeführt, wenn sich die Außenumgebung in dem dunklen Zustand befindet.

In Fig. 1 liest die CPU 15 das Helligkeits-/Dunkelheitssignal des Beleuchtungssensors 7 von der Eingangs-I/F 10 und das Verschlußsignal SS von der elektronischen Verschlußsteuerschaltung 27, und liest die AGC-Regelspannung VAGC entsprechen der mittleren Bildhelligkeit von dem A/D- Wandler 11, berechnet eine vorbestimmte Lichtaussendemenge auf solche Weise, daß die AGC-Regelung in dem Regelbereich bleibt, wenn die Verschlußzeit immer 1/60 Sekunde beträgt, in einem Fall, wenn festgestellt wird, daß sich die Außenumgebung in dem dunklen Zustand befindet, auf Grundlage des Helligkeits-/Dunkelheitssignals, und schaltet die Lichtquelle 6 im nahen Infrarot dadurch ein, daß das Beleuchtungssteuersignal von der Ausgangs-I/F 14 an die Beleuchtungssteuerschaltung 5 geschickt wird.

Wenn dagegen auf Grundlage des Helligkeits/Dunkelheitssignals festgestellt wird, daß sich die Außenumgebung in dem dunklen Zustand befindet, so wird, obwohl dies nicht gezeigt ist, ein Steuersignal von der CPU 15 an die elektronische Verschlußsteuerschaltung 27 geschickt, über die Ausgangs-I/F 14, und die Lichtquelle 6 für Strahlen im nahen Infrarot eingeschaltet, nachdem die Verschlußzeit auf 1/60 Sekunden festgelegt wurde, was vorzuziehen ist.

Nunmehr wird die Bildsignalbearbeitungsschaltung 2 wie voranstehend geschildert betrieben, und daher wird der Beleuchtungssensor 7 unter Verwendung des voranstehend geschilderten Betriebsablaufs weggelassen.

Wenn beispielsweise die Verschlußgeschwindigkeit den Maximalwert von 1/60 Sekunde annimmt, kann der Wert der AGC- Regelspannung VAGC nicht auf den Regelspannungssollwert der AGC-Regelspannung geregelt werden, und wird die Abweichung vergrößert, so daß es sich um einen Zustand handelt, in welchem die Bildspeicherzeit zum Empfang von Licht maximiert ist, und der Regelspannungssollwert nicht erreicht werden kann, selbst wenn das bereitgestellte Bildsignal maximal verstärkt wird. Daher kann in diesem Fall die Außenumgebung als im dunklen Zustand befindlich ermittelt werden.

Darüber hinaus kann die Bestimmung des hellen Zustands der Außenumgebung durchgeführt werden, wenn die Verschlußgeschwindigkeit kürzer als 1/60 Sekunde ist. Es handelt sich daher um einen Zustand, in welchem die AGC- Regelspannung VAGC an den Regelspannungssollwert angeglichen werden kann, selbst wenn die Bildspeicherzeit kürzer als 1/60 Sekunde ist, und daher kann die Außenumgebung als ausreichend hell angesehen werden.

Als weiteres Verfahren zur Ermittlung des hellen Zustands kann ein Zustand, in welchem die Verschlußgeschwindigkeit 1/60 Sekunde beträgt, und die Lichtquelle 6 für Strahlen im nahen Infrarot nicht eingeschaltet ist, als der helle Zustand ermittelt werden.

Daher wird die Lichtquelle 6 für nahes Infrarot zum Aussenden einer frei wählbaren Lichtmenge veranlaßt, wenn die Verschlußgeschwindigkeit 1/60 Sekunde beträgt und die AGC- Regelspannung VAGC nicht den Regelspannungssollwert erreicht. Wie voranstehend geschildert ist jedoch der Zustand, in welchem die Verschlußgeschwindigkeit 1/60 Sekunde beträgt und die Lichtquelle 6 für nahes Infrarot nicht eingeschaltet ist, ein Zustand, in welchem die AGC-Regelspannung VAGC an den Spannungssollwert herangeführt werden kann, selbst wenn die Lichtquelle 6 für Strahlen in nahem Infrarot nicht eingeschaltet ist, und daher kann die Außenumgebung so beurteilt werden, daß sie sich im ausreichend hellen Zustand befindet.

Daher wird auch an der Ausführungsform 2 ein ähnlicher Effekt wie bei der Ausführungsform 1 zur Verfügung gestellt, und ist kein spezieller Sensor wie der Beleuchtungssensor 7 zur Ermittlung der Helligkeit erforderlich.

AUSFÜHRUNGSFORM 3

Die Ausführungsform 3 betrifft eine Gesichtsbildaufnahmevorrichtung, welche den durch die Reflexion infolge einer Brille eines Fahrers hervorgerufenen Einfluß entfernt, wodurch eine vereinfachte Gesichtsbildaufnahmevorrichtung ohne eine Helligkeits/Dunkelheits-Erfassungsvorrichtung zur Verfügung gestellt wird.

Bei der Ausführungsform 3 wird daher keine Helligkeits/Dunkelheits-Erfassungsvorrichtung verwendet, und wenn im Schritt ST31 in Fig. 2 keine Augen festgestellt werden, wird die Lichtquelle 6 für nahes Infrarot eingeschaltet, während der Schritt ST32 weggelassen wird. Dies führt dazu, daß die Strahlen im nahen Infrarot immer ausgestrahlt werden, wenn die Augen eines Fahrers nicht festgestellt werden können, unabhängig vom Zustand der Außenumgebung.

Bei den voranstehend geschilderten Ausführungsformen wird die Lichtquelle 6 für Strahlen im nahen Infrarot insoweit erregt, als die Augen eines Fahrers nicht im hellen Zustand bei Tageslicht erfaßt werden können, und eine derartige Steuerung wird nicht im dunklen Zustand wie beispielsweise bei Nacht durchgeführt. Allerdings wird bei der Ausführungsform 3 eine entsprechende Steuerung auch im dunklen Zustand wie beispielsweise bei Nacht durchgeführt.

Anders ausgedrückt wird bei den voranstehend geschilderten Ausführungsformen der Helligkeits-/Dunkelheitszustand erfaßt, und daher wird in einem Fall, in welchem ein Fahrer bei Dunkelheit zur Seite sieht, der Strahl im nahen Infrarot nicht auf den Fahrer aufgestrahlt, um den Einfluß der Reflexion durch die Brillengläser auszuschalten. Im Gegensatz hierzu gibt es bei der Ausführungsform 3 in der Hinsicht Schwierigkeiten, daß der Strahl im nahen Infrarot ausgestrahlt wird, wenn die Augen nicht festgestellt werden, selbst im Zustand der Dunkelheit, ohne Berücksichtigung der Reflexion durch die Brillengläser.

Jedoch kann die Vorrichtung verkleinert, vereinfacht und kostengünstiger ausgebildet werden, infolge der voranstehend geschilderten Konstruktion.

Daher ist es gemäß der Ausführungsform 3 möglich, eine vereinfachte Gesichtsbildaufnahmevorrichtung zur Verfügung zu stellen, welche keinen Einflüssen der Reflexion durch die Brillengläser unterliegt.

AUSFÜHRUNGSFORM 4

Ausführungsform 4 ist ein abgeändertes Beispiel der Ausführungsform 1, wobei die Strahlen im nahen Infrarot auf das Gesicht eines Fahrers ausgestrahlt werden, wenn die Augen nicht festgestellt werden können, und das Brillengestell erfaßt wird, durch Ermittlung, daß es sich um einen Zustand handelt, in welchem die Augen infolge der Oberflächenreflexion durch die Brillengläser nicht erfaßt werden können.

Fig. 12 und Fig. 13 zeigen die Ausführungsform 4 der vorliegenden Erfindung, wobei Fig. 12 ein Flußdiagramm zur Erfassung des Zustands eines Fahrers bei der Ausführungsform 4 ist, und Fig. 13 ein Flußdiagramm bezüglich der Erfassung einer Brille. Unter Bezugnahme auf die Fig. 12 und 13 sowie auf die Fig. 1 und 9 erfolgt nachstehend eine Erläuterung dieser Ausführungsform.

In Fig. 12 bestimmt nach Durchführung des Betriebsablaufs vom Schritt ST10 bis zu der Augenherausziehvorrichtung des Schrittes ST30 in einer Brillenerfassungsvorrichtung des Schrittes ST80 der Betriebsablauf, ob der Fahrer p die Brille g trägt.

Später erfolgt eine detaillierte Beschreibung eines Verfahrens zur Erfassung einer Brille durch die Brillenerfassungsvorrichtung unter Verwendung eines Flußdiagramms.

Als nächstes wird im Schritt ST31 die Augenerfassungsmarke untersucht. Ist die Augenerfassungsmarke ausgeschaltet (OFF), so wird daraufhin im Schritt ST81 eine Brillenerfassungsmarke untersucht. Wenn die Brillenerfassungsmarke eingeschaltet (ON) ist, trägt der Fahrer eine Brille, und können die Augen nicht festgestellt werden. Wenn festgestellt wird, daß die Ursache dafür, daß die Augen nicht herausgezogen werden, die Oberflächenreflexion infolge der Brillengläser ist, wird im Schritt ST40 das Beleuchtungssteuersignal zum Entfernen der Brillenreflexion von der Ausgangs-I/F 14 an die Beleuchtungssteuerschaltung 5 geschickt, wodurch die Lichtquelle 6 für Strahlen im nahen Infrarot eingeschaltet wird.

Weiterhin werden in einem Fall, in welchem die Augenerfassungsmarke im Schritt ST31 eingeschaltet (ON) ist, die Schritte 33 bis 70 wie bei der Ausführungsform 1 durchgeführt.

Nunmehr erfolgt eine Erläuterung des Betriebsablaufs der Brillenerfassungsvorrichtung.

Bei der Erfassung der Brille wird zuerst im Schritt ST801 von Fig. 13 eine Brillengestellbewertungsfunktion berechnet, unter Verwendung der X-Achsen-Histogramme SUMX der Kandidatenbereiche 204 bei der voranstehend geschilderten Ausführungsform 1. Wie aus Fig. 9 hervorgeht, zeigt SUMX des Brillengestells eine im wesentlichen flache Charakteristik wie bei der Augenbraue, und daher ist die Streuung der Abweichung (SUMXMAX - SUMX) erheblich kleiner als jene der Augen. Weiterhin ist eine Breite EAW des Kandidatenbereiches entsprechend dem Brillengestell normalerweise etwas länger als jene der Augenbraue. Die Brillengestellbewertungsfunktion wird unter Berücksichtigung dieser Eigenschaften bestimmt. Dann bestimmt im Schritt ST802 der Betriebsablauf, ob es Kandidatenbereiche 204 über jenen hinaus gibt, der als entsprechend dem Auge ermittelt wurde, im Schritt ST30. Wenn es Kandidatenbereiche 204 gibt, so bestimmt der Betriebsablauf, ob jeder der Kandidatenbereiche 204 dem Brillengestell entspricht, auf der Grundlage der Brillengestellbewertungsfunktion im Schritt ST803. Wenn der Betriebsablauf feststellt, daß keine Entsprechung zum Brillengestell vorhanden ist, erhöht der Betriebsablauf den Kandidatenbereich 204 im Schritt ST804 und führt einen entsprechenden Betriebsablauf in bezug auf den nächsten der Kandidatenbereiche durch. Wenn im Schritt ST802 kein Kandidatenbereich 204 zu bestimmen ist, schaltet der Betriebsablauf die Brillenerfassungsmarke im Schritt ST809 aus (OFF), und der Betriebsablauf kehrt zur Hauptroutine zurück.

Als nächstes untersucht im Schritt ST805 der Betriebsablauf die Anzahl der Kandidatenbereiche 204, die als solche bestimmt wurden, welche den Brillengestellen in den linken und rechten Kandidatenexistenzbereichen 202 im Schritt ST802 entsprechen. Ist die Anzahl 2 oder mehr für jeden der linken und rechten Kandidatenexistenzbereiche, so schaltet der Betriebsablauf die Brillenerfassungsmarke im Schritt ST808 ein (ON), durch Bestimmung, daß eines der beiden ermittelten Brillengestelle das wahre Brillengestell ist. Ist die Anzahl der Kandidatenbereiche, die als entsprechend dem Brillengestell in jedem der Kandidatenexistenzbereiche 202 festgestellt wurden, 1 oder weniger, so berechnet der Betriebsablauf die Augenbrauenbewertungsfunktion unter Verwendung des voranstehend geschilderten Wertes SUMX und des voranstehend erwähnten Wertes EAW und dergleichen des Kandidatenbereiches 204 im Schritt ST806. Im Schritt ST807 ermittelt der Betriebsablauf, ob die Augenbrauenbewertungsfunktion des Kandidatenbereiches 204 in einem vorbestimmten Bereich liegt, schaltet im Schritt ST808 die Brillenerfassungsmarke ein (ON) auf entsprechende Weise nur in einem Fall, in welchem die Augenbrauenbewertungsfunktion nicht im vorbestimmten Bereich liegt, und wenn sie in dem vorbestimmten Bereich liegt, so schaltet der Betriebsablauf die Brillenerfassungsmarke im Schritt ST809 aus (OFF), da die Möglichkeit besteht, daß der Kandidatenbereich der Augenbraue entspricht, und dann kehrt die Verarbeitung zur Hauptroutine zurück.

Auf diese Art und Weise ist es möglich zu bestimmen, ob der Fahrer eine Brille trägt oder nicht.

Daher werden bei dieser Ausführungsform ähnliche Effekte wie bei der Ausführungsform 1 erzielt. Durch Erkennen des Vorhandenseins der Brille ist es darüber hinaus möglich, die Lichtquelle 6 im nahen Infrarot ordnungsgemäß einzuschalten, so daß die Augen in dem Bild auch in dem Fall festgestellt werden können, in welchem infolge der Reflexion durch die Brillengläser die Augen als nicht erkennbar angesehen werden, wodurch die Augen deutlich erfaßt werden können, und der mittlere stündliche Energieverbrauch verringert werden kann.

AUSFÜHRUNGSFORM 5

Konventionellerweise wurde eine Beleuchtungsvorrichtung für Strahlen im nahen Infrarot für einen dunklen Zustand zur Verfügung gestellt, um eine fehlende Beleuchtung in einem Fall auszugleichen, in welchem die Außenumgebung dunkel war.

Im Gegensatz hierzu ist bei den voranstehend geschilderten Ausführungsformen die Lichtquelle 6 für Strahlen im nahen Infrarot dazu vorgesehen, den Einfluß der Reflexion durch Brillengläser auszuschalten, um die Augen eines Fahrers deutlich zu erfassen. Die Lichtquelle 6 für Strahlen im nahen Infrarot wird nicht nur als die Beleuchtungsvorrichtung für Strahlen im nahen Infrarot zum Entfernen des Einflusses der Reflexion durch Brillengläser verwendet, sondern auch als die Beleuchtungsvorrichtung für Strahlen im nahen Infrarot für einen dunklen Zustand, durch Änderung des Steuerprogramms der Beleuchtungssteuerschaltung 5.

Es gibt allerdings einen beträchtlichen Unterschied zwischen der ausgesendeten Lichtmenge eines Infrarotstrahls zum Herausziehen von Augen aus einem Bild eines Gesichts in dunklem Zustand und der Menge ausgesandten Lichts eines Infrarotstrahls zum Entfernen des Einflusses der Reflexion durch eine Brille bei Tageslicht. Wenn daher beide Funktionen bereitgestellt werden, wird Energie verschwendet, da in dem dunklen Zustand ein Lichtstrahl ausgesandt wird, dessen ausgesandte Lichtmenge größer ist als erforderlich.

Daher wird bei der Ausführungsform 5 der mittlere stündliche Energieverbrauch dadurch verringert, daß die beiden Funktionen getrennt ausgebildet sind.

Die Fig. 14 und 15 zeigen die Ausführungsform 5, wobei Fig. 14 eine schematische Ansicht einer Erfassungsvorrichtung für den Zustand eines Fahrers ist, welche eine Gesichtsbildaufnahmevorrichtung aufweist, und Fig. 15 ein Beispiel für das Bild eines Gesichts in dunklem Zustand zeigt.

In Fig. 14 bezeichnet das Bezugszeichen 8 eine koaxiale Lichtquelle für Strahlen im nahen Infrarot, die in der Nähe der Kameraeinheit c angeordnet ist, so daß eine optische Achse eines ausgestrahlten Strahls im nahen Infrarot annähernd parallel zur optischen Achse für Fotoaufnahmen der Kameraeinheit und in deren Nähe angeordnet ist. Bei diesem Beispiel ist ein Fall gezeigt, in welchem eine LED, die Licht im nahen Infrarot aussendet, eine Lichtgesamtausgangsleistung von etwa 10 mW oder weniger sowie eine Zentrumswellenlänge von etwa 900 nm aufweist, verwendet wird. Das Bezugszeichen 9 bezeichnet eine LED-Steuerschaltung, welcher das Verschlußsignal SS und die AGC-Regelspannung VAGC der Bildsignalbearbeitungsschaltung 2 wie in Fig. 10 gezeigt zugeführt werden. Das Verschlußsignal SS wird der Eingangs- I/F 10 zugeführt, das Ausgangsbildsignal VOUT und die AGC- Regelspannung VAGC werden dem A/D-Wandler 11 zugeführt, und der Beleuchtungssensor 7 wird nicht verwendet.

Nachstehend erfolgt eine Erläuterung des Betriebsablaufs.

Wenn die Außenumgebung dunkel wird, und sich die Helligkeit verringert, welcher der Benutzer p ausgesetzt ist, werden die AGC-Regelschaltung 22 und die elektronische Verschlußsteuerschaltung 27 in Fig. 10 in Betrieb gesetzt, und wird die Verschlußzeit verlängert. Wenn die Verschlußzeit den Wert von 1/60 Sekunde annimmt, und die AGC-Regelspannung kleiner oder gleich einem vorbestimmten Wert ist, schaltet die LED-Steuerschaltung 9 die LED 8 für Strahlen im nahen Infrarot durch Ermittlung des Dunkelzustands ein. Die optische Ausstrahlungsachse der LED 8 für Strahlen im nahen Infrarot verläuft annähernd koaxial zur optischen Achse für Fotoaufnahmen der Kameraeinheit c, und daher ist es möglich, deutlich nur Pupillen des Fahrers p aufzunehmen, wie in Fig. 15 gezeigt. Die Pupillen weisen die Eigenschaft auf, daß sie einfallendes Licht praktisch in dieselbe Richtung zurückreflektieren, und daher ist ihre Helligkeit in einem koaxialen Beleuchtungszustand deutlich größer als jene anderer Abschnitte eines Gesichts, und daher werden nur die Pupillen deutlich wahrnehmbar fotografiert, wie in Fig. 15 gezeigt ist, selbst unter Einsatz der LED 8 für Strahlen im nahen Infrarot, deren Strahl so schwach ist, daß die Merkmale eines Gesichts nicht als Bild fotografiert werden können.

Hierbei wird die mittlere Helligkeit überhaupt nicht erhöht, da die Helligkeit in dem Bild nur an den Pupillen erhöht ist, deren Abmessungen maximal 7 bis 8 mm betragen. Obwohl nicht gezeigt werden in einem derartigen, dunklen Zustand nur die beiden Pupillen des Fahrers p in binäre Werte als Weißpegel im Schritt ST20 der Hauptroutine umgewandelt. Daher läßt die CPU den Schritt ST21 in Fig. 2 weg und empfängt das binäre Bild des Bildspeichers 13, erfaßt das Pupillenpaar auf der Grundlage eines Algorithmus, der sich von jenem in dem hellen Zustand unterscheidet, und auf der Grundlage der Bewertungsfunktion in der Augenherausziehvorrichtung des Schrittes ST30, und erfaßt ein Blinzeln, da beim Blinzeln die Pupillen durch die Augenlider verdeckt werden, und so kann auf entsprechende Weise festgestellt werden, ob der Fahrer einzuschlafen droht.

Bei dieser Ausführungsform wird, wie bei den voranstehend geschilderten Ausführungsformen, der helle Zustand in einem Fall bestimmt, in welchem die Verschlußgeschwindigkeit 1/60 Sekunde oder weniger beträgt, oder in einem Fall, in welchem die Verschlußgeschwindigkeit 1/60 Sekunde beträgt und die AGC-Regelspannung VAGC größer oder gleich dem vorbestimmten Wert ist.

Weiterhin wird in einem Fall, in welchem die Augen in dem Bild im hellen Zustand nicht festgestellt werden, die Lichtquelle 6 für Strahlen im nahen Infrarot ebenso wie bei der Ausführungsform 1 eingeschaltet. Dagegen wird in einem Fall, in welchem die Brille festgestellt wird, und die Augen in dem Bild in dem hellen Zustand nicht erfaßt werden, die Lichtquelle 6 für Strahlen im nahen Infrarot wie bei der Ausführungsform 4 eingeschaltet.

Daher wird bei der Ausführungsform 5 ein ähnlicher Effekt wie bei den voranstehend geschilderten Ausführungsformen erzielt, und ist es möglich, den stündlichen mittleren Energieverbrauch der gesamten Fotoaufnahmevorrichtung dadurch weiter zu verringern, daß die LED 8 für Strahlen im nahen Infrarot, welche einen niedrigen Energieverbrauch aufweist und normalerweise in dem dunklen Zustand verwendet wird, von der Lichtquelle 6 für Strahlen im nahen Infrarot zum Entfernen des Einflusses der Reflexion durch Brillengläser getrennt wird, und kann darüber hinaus der Lichtquelle 6 für Strahlen im nahen Infrarot eine lange Lebensdauer gegeben werden, durch Begrenzung der Benutzung der Lichtquelle 6 für Strahlen im nahen Infrarot.

Weiterhin werden bei der Ausführungsform 5 die Pupillen des Fahrers p durch die LED 8 für Strahlen im nahen Infrarot in dem dunklen Zustand fotografiert. Allerdings können die Pupillen auch unter Verwendung einer anderen Infrarotstrahllichtquelle fotografiert werden, die in der Nähe der Kameraeinheit c angeordnet ist, wobei deren optische Abstrahlachse annähernd parallel zur optischen Achse für Fotoaufnahmen der Kameraeinheit c und in deren Nähe verläuft.

AUSFÜHRUNGSFORM 6

Bei der Ausführungsform 6 ist ein optisches Filter auf der optischen Achse einer Kamera angeordnet, wodurch Augen deutlich erfaßt werden können, selbst wenn durch Brillengläser eine Reflexion hervorgerufen wird.

Die Fig. 16 bis 19 zeigen die Ausführungsform 6, wobei Fig. 16 eine schematische Ansicht einer Fahrerzustanderfassungsvorrichtung mit einer Gesichtsbildaufnahmevorrichtung gemäß Ausführungsform 6 ist,

Fig. 17 eine perspektivische Außenansicht einer Bildaufnahmeeinheit a, Fig. 18 eine Schnittansicht der Bildaufnahmeeinheit a, und Fig. 19 ein Diagramm der spektroskopischen Transmissionseigenschaften eines zusammengesetzten optischen Filters zeigt.

In den Fig. 16 bis 19 bezeichnen die Bezugsziffern 41 und 42 optische Filter, die einander überlappend auf der optischen Achse für Fotoaufnahmen der Kameraeinheit c vor der Bildaufnahmelinse 3 angeordnet sind, das Bezugszeichen 50 bezeichnet ein Gehäuse, welches die CCD 1 haltert, die Bildaufnahmelinse 3, die optischen Filter 41 und 42 und so weiter, und weiterhin ist auch die LED 8 für Strahlen im nahen Infrarot in dem Gehäuse gehaltert. Das Bezugszeichen 51 bezeichnet Platinen mit gedruckten Schaltungen, in welchen die CCD 1, die Bildsignalbearbeitungsschaltung 2 und die LED- Steuerschaltung 9 angeordnet sind, und das Bezugszeichen 52 bezeichnet eine Ausgangsleitung der Bildaufnahmeeinheit a. In bezug auf die LEDs 8 für Strahlen im nahen Infrarot werden LEDs mit einer Zentrumswellenlänge von annähernd 900 nm wie bei der Ausführungsform 5 symmetrisch an vier Orten auf der Rückseite der optischen Filter vorgesehen, so daß die LEDs in der Nähe einer Öffnung 31 der Linse liegen, wie in Fig. 17 gezeigt, in welcher die optische Achse für Fotoaufnahmen der Kameraeinheit c annähernd parallel zu den optischen Abstrahlungsachsen des Strahls im nahen Infrarot verläuft.

Allerdings können die LEDs 8 für nahes Infrarot auch anders als in Fig. 17 angeordnet werden, nämlich so, daß dazwischen kein optisches Filter 41 vorgesehen ist.

Nunmehr erfolgt eine Erläuterung der optischen Filter.

Wie in Fig. 19 gezeigt ist das optische Filter 41 ein Langwellen-Durchlaßfilter (LPF), wie in der Figur durch eine gestrichelte Linie angedeutet ist. Hierbei ist ein Beispiel gezeigt, bei welchem ein LPF mit einer Wellenlänge von annähernd 500 nm bei einem Durchlaßvermögen von 50% verwendet wird, durch welches Licht mit einer Wellenlänge von 500 nm oder mehr einschließlich sichtbaren Lichts und Infrarotlichts durchgelassen wird. Das optische Filter 42 ist ein Bandsperrfilter (BRF). Als Beispiel ist hier ein BRF gezeigt, welches Wellenlängen von 650 nm und 850 nm bei einem Transmissionsvermögen von 50% aufweist, und ein Wellenlängenband von 650 bis 850 nm entfernt, das zwischen dem sichtbaren Licht und dem nahen Infrarot liegt. Das BRF42 verwendet ein dielektrisches Mehrschichtfilter, bei welchem dielektrische Filme in mehreren Schichten auf ein transparentes optisches Substrat auflaminiert sind, das aus Glas, Kunststoff oder dergleichen besteht. Das LPF 41 verwendet ein ähnliches dielektrisches Mehrlagenfilter oder ein kostengünstiges Filter des Absorptionstyps, bei welchem Färbemittel in das voranstehend erwähnte, transparente optische Substrat eindiffundiert wurden.

LPF 41 und BRF 42 überlappen einander wie in Fig. 18 gezeigt, und bilden ein zusammengesetztes optisches Filter 43, welches hohe Werte für das spektroskopische Transmissionsvermögen in der Mitte eines Medianwertes des Wellenlängenbandes von annähernd 400 bis 700 nm aufweist, wobei das Transmissionsvermögen einer Beschichtung von Brillengläsern hoch ist, und in der Umgebung der Zentrumswellenlänge der LED 8 für Strahlen im nahen Infrarot, die beim Fotografieren im dunklen Zustand verwendet wird.

Daher ist das zusammengesetzte optische Filter 43 mit zwei Durchlaßbändern versehen, wobei ein erstes Durchlaßband den Bereich von 400 bis 700 nm abdeckt, und ein zweites Durchlaßband den Bereich von 850 nm oder mehr.

Unter Verwendung des voranstehend geschilderten, zusammengesetzten optischen Filters 43 werden die Pupillen des Fahrers p dadurch fotografiert, daß die LEDs 8 für Infrarotstrahlen in dem dunklen Zustand wie bei der Ausführungsform eingeschaltet werden, unter Verwendung ihres hohen spektroskopischen Transmissionsvermögens in der Umgebung der Zentrumswellenlänge der LEDs 8 für Strahlen im nahen Infrarot, wodurch der Zustand des Fahrers erfaßt wird, nämlich ein drohendes Einschlafen.

Weiterhin wird in dem hellen Zustand das Bild des Gesichts des Fahrers p durch die voranstehend geschilderten zwei Komponenten der Wellenlängenbereiche bei Außenlicht aufgenommen, unter Verwendung des hohen spektroskopischen Transmissionsvermögens in den Bereichen der Wellenlänge von 500 bis 650 nm und 850 nm und mehr.

In Fällen, in welchen das konventionelle Filter 4 zum Abschneiden sichtbaren Lichts verwendet wird, ist das spektroskopische Reflexionsvermögen der Brillengläser in dem Lichtentfernungsbereich des Filters 4 gering, und im Gegensatz hierzu ist das spektroskopische Reflexionsvermögen der Brillengläser in den Durchlaßbereichen des Filters 4 hoch. Daher ist der Wert von K, der die Sichtbarkeit des Auges anzeigt, klein, und können die Augen überhaupt nicht fotografiert werden, wie in Fig. 28 gezeigt ist.

Im Gegensatz hierzu ist das zusammengesetzte optische Filter 43 bei der vorliegenden Ausführungsform mit einem hohen Transmissionsvermögen in einem Bereich versehen, in welchem das spektroskopische Reflexionsvermögen des Lichts mit sichtbaren Wellenlängen der Brillengläser niedrig ist, und daher wird der diffuse, reflektierte Lichtfluß ΦT von den Augen im Bereich des sichtbaren Lichts wirksam von der CCD 1 empfangen, und das voranstehend geschilderte Verhältnis K vergrößert, wodurch die Augen deutlich wahrnehmbar fotografiert werden können, wie in Fig. 6 gezeigt.

Daher weist die vorliegende Ausführungsform in der Hinsicht einen Vorteil auf, daß die Augen deutlich wahrnehmbar fotografiert werden können, ohne daß eine spezielle Beleuchtung zum Entfernen der Reflexion verwendet wird, selbst wenn die Oberflächenreflexion durch die Brillengläser auftritt, durch Aufnahme eines Bildes des Gesichts des Fahrers p, der die Brille g trägt, durch die Komponenten der Transmissionwellenlängenbänder des sichtbaren Lichts des Sonnenlichts und die Strahlen im nahen Infrarot in dem hellen Zustand, unter Verwendung des zusammengesetzten optischen Filters 43, welches Durchlaßbänder sowohl in dem Wellenlängenbereich des sichtbaren Lichts aufweist, in welchem das Transmissionsvermögen der Brillengläser hoch ist, als auch in dem Wellenlängenbereich im nahen Infrarot entsprechend der Beleuchtung mit Strahlen im nahen Infrarot zur Aufnahme des Bildes des Fahrers p in dem dunklen Zustand.

AUSFÜHRUNGSFORM 7

Ausführungsform 7 ist ein abgeändertes Beispiel für die Ausführungsform 6, in welchem ein deutlicheres Bild eines Gesichts zur Verfügung gestellt wird, verglichen mit der Ausführungsform 6.

Fig. 20 zeigt ein Diagramm des spektroskopischen Transmissionscharakteristik eines zusammengesetzten Filters 45 bei der Ausführungsform 7. Dem zusammengesetzten optischen Filter von Fig. 19 ist ein weiteres, kurze Wellenlängen durchlassendes Filter (HPF) überlagert, welches eine Wellenlänge von annähernd 950 nm bei einem Transmissionsvermögen von 50% aufweist, um ein zusammengesetztes optisches Filter auszubilden, welches Durchlaßwellenlängenbänder nur in der Nähe des Medianwertes des Wellenlängenbandes von annähernd 400 bis 700 nm begrenzt, in welchem das Transmissionsvermögen der Beschichtung der Brillengläser hoch ist, und in der Nähe der Zentrumswellenlänge der LED 8 für Strahlen im nahen Infrarot, die zum Fotografieren in dem dunklen Zustand verwendet wird.

Hierbei wird vorzugsweise ein dielektrischer Mehrschichtfilm in dem HPF 44 verwendet, wie in dem BRF 42. Das zusammengesetzte optische Filter 45 ist vor der Bildaufnahmelinse der Kameraeinheit c wie bei der Ausführungsform 6 angeordnet, die Pupillen des Fahrers p werden dadurch fotografiert, daß die LED 8 für Strahlen im nahen Infrarot im Zustand der Dunkelheit eingeschaltet wird, und das Bild des Gesichts des Fahrers p wird nur durch die Wellenlängenbestandteile des Außenlichts von 500 bis 650 nm und 850 bis 950 nm im Zustand der Helligkeit aufgenommen.

Hierbei liegt das erste Durchlaßband in dem Wellenlängenbereich von 500 bis 650 nm, und der zweite Durchlaßbereich in dem Wellenlängenbereich von 850 bis 950 nm.

Wenn das zusammengesetzte optische Filter 45 verwendet wird, wird Licht nur in den beiden Wellenlängenbändern genutzt, also dem Wellenlängenband der Beleuchtung mit Strahlen im nahen Infrarot, die zum Fotografieren im dunklen Zustand verwendet werden, und das sichtbare Wellenlängenband einschließlich des diffusen reflektierten Lichtflusses ΦiT von den Augen in dem Bereich sichtbaren Lichts, und daher kann Störlicht in den anderen Wellenlängenbereichen entfernt werden. Daher ist es möglich, starke Reflexionen zu entfernen, die in einem Wellenlängenbereich von 700 nm oder mehr hervorgerufen werden, können die Augen deutlicher wahrnehmbar fotografiert werden, selbst wenn eine Oberflächenreflexion infolge der Brillengläser auftritt, und kann das Signal/Rauschverhältnis (S/N) beim Fotografieren des Fahrers p in dunklem Zustand verbessert werden, da Umgebungsstörlicht nicht in die Kamera hineingelangt, weil nämlich Licht in anderen als erforderlichen Wellenlängenbereichen abgeschnitten wird.

AUSFÜHRUNGSFORM 8

Die Ausführungsform 8 betrifft eine Vereinfachung einer Gesichtsbildaufnahmevorrichtung.

Bei den voranstehend geschilderten Ausführungsformen 6 und 7 gibt es getrennte Filter LPF 41, BRF 42 und HPF 44. Allerdings ist es möglich, das zusammengesetzte optische Filter 43 mit der durch die durchgezogene Linie in Fig. 19 dargestellten spektroskopischen Durchlaßcharakteristik durch eine einzige Schicht eines Substrats auszubilden, wenn beispielsweise BRF 42 dadurch hergestellt wird, daß ein dielektrischer Mehrschichtfilm auf eine Oberfläche des Substrats des LPF 41 des Absorptionstyps laminiert wird, oder LPF 41 auf einer Oberfläche eines transparenten Substrats ausgebildet wird, und BRF 42 auf dessen anderer Oberfläche, durch Auflaminieren dielektrischer Mehrschichtfilme auf deren beide Oberflächen.

Weiterhin kann das zusammengesetzte optische Filter 45 mit der spektroskopischen Durchlaßcharakteristik, die in Fig. 20 durch die durchgezogene Linie dargestellt ist, durch ein Substrat ausgebildet werden, durch Ausbildung von BRF 42 auf einer Oberfläche eines Substrats des LPF 41 des Absorptionstyps und HPF 44 auf dessen anderer Oberfläche, durch Auflaminieren dielektrischer Mehrschichtfilme auf beide Oberflächen des Substrats.

Bei diesen Vorgehensweisen kann daher das zusammengesetzte optische Filter 45 dünner ausgebildet werden, kostengünstig hergestellt werden, und verursacht keine aufwendigen Probleme wie die Anordnung und Ausrichtung mehrerer Filter.

AUSFÜHRUNGSFORM 9

Die Ausführungsform 9 betrifft eine Kombination der voranstehend geschilderten Ausführungsformen, bei welcher selbst dann, wenn die Oberflächenreflexion durch die Brillengläser vergleichsweise stark ist, dieser Einfluß ausgeschaltet werden kann.

Obwohl nicht dargestellt kann der Einfluß der Reflexion durch die Brillengläser dadurch weiter verringert werden, daß das optische Filter 4 an der Kameraeinheit c, welches bei der Ausführungsform 1 oder der Ausführungsform 5 gezeigt ist, durch das zusammengesetzte optische Filter 43 oder das zusammengesetzte optische Filter 45 ersetzt wird, welches bei der voranstehend geschilderten Ausführungsformen 6 und 7 gezeigt ist.

Daher wird zuerst der Einfluß der Oberflächenreflexion der Brillengläser dadurch verringert, daß der Fahrer p unter Verwendung der Kameraeinheit c fotografiert wird, bei welcher das voranstehend geschilderte, zusammengesetzte optische Filter 43 oder das zusammengesetzte optische Filter 45 verwendet wird. Darüber hinaus wird, wie bei der Ausführungsform 1 oder der Ausführungsform 5, die Lichtquelle 6 für Strahlen im nahen Infrarot dadurch eingeschaltet, daß das Beleuchtungssteuersignal zum Ausschalten der Brillenreflexion an die Beleuchtungssteuerschaltung 5 über die Ausgangs-I/F 14 in einem Fall gesandt wird, daß die Außenumgebung oder die nähere Umgebung des Gesichts des Fahrers p hell ist, oder die Brille des Fahrers p erfaßt wird und dennoch die Augen nicht erfaßt werden können.

Selbst in einem Zustand, in welchem die Oberflächenreflexion infolge der optischen Gläser extrem stark ist, etwa in einem Fall, in welchem eine weiße Wolke, eine Wand oder dergleichen durch die optischen Gläser bei klaren Witterungsbedingungen reflektiert wird, können bei der vorliegenden Ausführungsform die Augen deutlich wahrnehmbar fotografiert werden, daß der Einfluß der Reflexion der Gläser dadurch sicher ausgeschaltet wird, daß die Lichtquelle 6 für Strahlen im nahen Infrarot eingeschaltet wird.

Darüber hinaus können die Augen deutlich wahrnehmbar dadurch fotografiert werden, daß das zusammengesetzte optische Filter 43 oder das zusammengesetzte optische Filter 45 verwendet wird, wenn eine normal hervorgerufene Oberflächenreflexion durch die Brillengläser auftritt, und daher wird die Wahrscheinlichkeit für das Auftreten eines Zustand gering, in welchem die Augen nicht erfaßt werden können, wodurch die Häufigkeit der Benutzung der Lichtquelle 6 für Strahlen im nahen Infrarot im Zustand der Helligkeit verringert wird, und die Lebensdauer noch weiter verlängert werden kann.

AUSFÜHRUNGSFORM 10

Bei der Ausführungsform 10 werden zwei optische Filter so verwendet, daß sie umgeschaltet werden, wodurch das Auge deutlich erfaßt werden kann, ohne daß die Lichtquelle 6 für Strahlen im nahen Infrarot zum Ausschalten des Einflusses der Reflexion der Brillengläser vorgesehen wird.

Die Fig. 21 bis 24 zeigen die Ausführungsform 10, wobei Fig. 21 eine schematische Ansicht einer Fahrerzustandserfassungsvorrichtung mit einer Gesichtsbildaufnahmevorrichtung von Ausführungsform 10 ist,

Fig. 22 eine Schnittansicht einer Bildaufnahmeeinheit a, Fig. 23 eine Perspektivansicht einer Filmwechseleinheit, und Fig. 24 ein Diagramm der spektroskopischen Transmissionscharakteristik eines optischen Filters 46 für eine Seite.

In den Fig. 21 bis 23 bezeichnet das Bezugszeichen 46 ein erstes optisches Filter, welches ein Durchlaßband nur in einem Bereich des sichtbaren Lichts aufweist, in welchem das Transmissionsvermögen der Beschichtung der Brillengläser hoch ist. Wie aus Fig. 24 hervorgeht, ist das Filter ein Bandpaßfilter (BPF) mit Wellenlängen von 500 nm und 650 nm bei einem Transmissionsvermögen von 50%. Das Bezugszeichen 47 bezeichnet ein zweites optisches Filter, bei welchem die Transmissionswellenlänge entsprechend dem Wellenlängenbereich der Lichtquelle für Strahlen im nahen Infrarot zur Beleuchtung des Fahrers p bei Dunkelheit gewählt ist. Das zweite optische Filter kann ein normales Abschneidefilter für sichtbares Licht in einem Fall verwenden, in welchem beispielsweise die LED 8 für Strahlen im nahen Infrarot mit einer Zentrumswellenlänge von 900 nm als die Lichtquelle für Strahlen im nahen Infrarot wie bei der voranstehend geschilderten Ausführungsform 5 verwendet wird. Wenn jedoch ein BPF mit einer Halbwertsbreite von annähernd 100 nm, zentriert auf der Wellenlänge von 900 nm, verwendet wird, können Störlichtkomponenten, die sich von dem Beleuchtungslicht unterscheiden, entfernt werden, was vorteilhaft ist. Hierbei ist der Bereich sichtbaren Lichts, in welchem das Transmissionsvermögen der Beschichtung der Brillengläser hoch ist, das erste Durchlaßband, und der Wellenlängenbereich der Lichtquelle für Strahlen im nahen Infrarot zur Beleuchtung des Fahrers p in der Dunkelheit stellt das zweite Durchlaßband dar.

Das Bezugszeichen 60 bezeichnet eine Filmwechselvorrichtung zur Umschaltung des ersten optischen Filters 46 und des zweiten optischen Filters 47, und die Filmwechselvorrichtung ist in einem Gehäuse 50 der Bildaufnahmeeinheit a aufgenommen. Obwohl das erste optische Filter 46 und das zweite optische Filter 47 auf der Vorderseite der Linse 3 angeordnet sein können, sind sie bei der vorliegenden Ausführungsform auf der Rückseite der Linse 3 angeordnet, wodurch die Filterwechselvorrichtung 60 verkleinert wird, und die chromatische Aberration der Linse 3 dadurch korrigiert wird, daß die effektive Brennweite der Linse 3 durch Änderung der Dicke und des Materials geändert wird, also des Brechungsindex des Filtersubstrats entsprechend dem Durchlaßwellenlängenband. Das Bezugszeichen 48 bezeichnet ein transparentes Schutzteil wie beispielsweise Glas, welches mit einer reflexionsmindernden Beschichtung beschichtet ist.

Die Filterwechselvorrichtung 60 weist einen Motor 61 auf, der eine Antriebskraft zum Wechseln der Filter erzeugt, eine Leitung 62 zum Zuführen von Signalen zum Motor 61, ein Getriebe 63 zur Verringerung der Umdrehungsgeschwindigkeit des Motors 61, eine Drehnockenplatte 64, die einen vorspringenden Rollenstift aufweist und durch Aufnahme einer Drehkraft von dem Getriebe 63 verschwenkt wird, und eine Filterhalterungsplatte 65 in L-Form aufweist, welche auf ihrer einen Oberfläche die Filter haltert, und auf ihrer anderen Oberfläche ein Langloch zum Einführen des Rollenstifts aufweist.

Nachstehend erfolgt eine Erläuterung des Betriebsablaufs bei der Ausführungsform 10.

Zuerst wird beim Rücksetzen der Vorrichtung das erste optische Filter 46 zum Durchlassen sichtbaren Lichts auf der Fotoaufnahmeachse angeordnet, und wird das Bild des Gesichts des Fahrers p durch die Lichtbestandteile in dem Durchlaßwellenlängenbereich des Filters aufgenommen, indem man das Licht durch das erste optische Filter 46 hindurchtreten läßt. In diesem Fall entspricht der Durchlaßwellenlängenbereich des ersten optischen Filters 46 dem Wellenlängenbereich, in welchem das spektroskopische Reflexionsvermögen der Brillengläser niedrig ist, und daher wird, selbst wenn eine Oberflächenreflexion der Gläser der Brille g auftritt, welche der Fahrer p trägt, das Auftreffen des reflektierten Lichts auf die Kamera durch das erste optische Filter 46 behindert. Dagegen fällt die Wellenlängenkomponente in dem Durchlaßband des ersten optischen Filters 46 in den diffusen reflektierten Lichtfluß ΦiT von den Augen auf die Kamera auf, ohne durch das erste optische Filter 46 beeinträchtigt zu werden, wodurch die Augen deutlich wahrnehmbar fotografiert werden können.

Wenn die Außenumgebung dunkel wird, und die mittlere Helligkeit des Bildes des Gesichts des Fahrers p verringert wird, führt die Bildsignalbearbeitung die AGC-Regelung durch, und steuert den Verschluß in Richtung zur Öffnungsseite. In einem derartigen Zustand wird die Helligkeits/Dunkelheits- Ermittlung wie bei der Ausführungsform 2 durchgeführt, und in einem Fall, in welchem auf einen dunklen Zustand erkannt wird, wird das erste Filter auf das zweite optische Filter 47 umgeschaltet.

Wenn das Helligkeits/Dunkelheits-Signal von der Bildsignalbearbeitungsschaltung 2 auf den Platinen 51 mit gedruckten Schaltungen ein Signal ausgibt, welches den Dunkelheitszustand anzeigt, gibt die CPU 15 ein Treibersignal an den Motor 61 über die Leitung 62 aus, und wird der Motor 61 zur Drehung veranlaßt. Die Drehzahl des Motors 61 wird durch das an den Motor 61 angetriebene Getriebe 62 verringert, und die Drehnockenplatte 64 dreht sich um eine halbe Drehung. Die Drehbewegung wird in eine Linearbewegung durch das Langloch der Filterhalterungsplatte 65 und den Rollenstift der Drehnockenplatte 64 umgewandelt, der in das Langloch eingeführt ist, und die Linearbewegung bewegt die Filterhalterungsplatte 65 orthogonal zur Fotoaufnahmeachse, wodurch eine Umschaltung von dem ersten optischen Filter 46 auf das zweite optische Filter 47 erfolgt.

Dann wird bei dieser Gelegenheit die LED 8 für Strahlen im nahen Infrarot eingeschaltet, das Gesicht des Fahrers beleuchtet und werden die Pupillen fotografiert.

Wenn im Gegensatz hierzu sich die Außenumgebung vom Zustand der Dunkelheit zum Zustand der Helligkeit ändert, also wenn sich die Zeit von der Nacht zum Morgen ändert, gibt es Sonnenlichtstrahlen zusätzlich zu den Strahlen im nahen Infrarot der LED 8 für Strahlen im nahen Infrarot. Daher läßt das zweite optische Filter 47 das Beleuchtungslicht der LED 8 im nahen Infrarot und die Komponenten im nahen Infrarot der Sonnenstrahlen durch. Hierdurch wird die mittlere Helligkeit des Bildes des Gesichts des Fahrers p erhöht, und die Bildsignalbearbeitungsschaltung 2 stellt fest, daß sich der Zustand der Dunkelheit zum Zustand der Helligkeit ändert, auf der Grundlage der Erhöhung der Helligkeit, und gibt ein Signal an die CPU 10 aus, welches den Helligkeitszustand anzeigt. Bei Empfang des den hellen Zustand anzeigenden Signals dreht die CPU 15 den Motor 61 in einer Richtung entgegengesetzt zur voranstehend geschilderten Richtung, schaltet das zweite optische Filter 47 auf das erste optische Filter 46 um, und schaltet die LED 8 für Strahlen im nahen Infrarot aus.

Bei der vorliegenden Ausführungsform wird der Fahrer p unter Verwendung des Wellenlängenbereiches des sichtbaren Lichts fotografiert, der nicht durch die Oberflächenreflexion der Brillengläser im hellen Zustand beeinflußt wird, und daher können die Augen deutlich wahrnehmbar fotografiert werden, ohne eine spezielle Beleuchtung zum Ausschalten der Reflexion zu verwenden, selbst wenn die Reflexion durch die Brillengläser auftritt, und hierdurch wird der Fahrer p nur durch den Wellenlängenbereich der Lichtquelle im nahen Infrarot fotografiert, welche den Fahrer p im Zustand der Dunkelheit beleuchtet, und aus diesem Grunde wird Störlicht beseitigt, und kann das Signal/Rauschverhältnis (S/N) beim Fotografieren des Fahrers p verbessert werden.

AUSFÜHRUNGSFORM 11

Die Ausführungsform verringert sehr stark den Einfluß der Oberflächenreflexion infolge der Brillengläser durch eine Kombination der Ausführungsformen 1 und 10.

Daher ist die Ausführungsform 11 mit der Kameraeinheit c versehen, welche die Filterwechselvorrichtung 60 aufweist, die bei der voranstehend geschilderten Ausführungsform 10 gezeigt ist, mit der Helligkeits/Dunkelheits- Erfassungsvorrichtung wie dem Beleuchtungssensor 7, der bei der Ausführungsform 1 erläutert wurde, und mit der Beleuchtungssteuerschaltung 5 und der Lichtquelle 6 für Strahlen im nahen Infrarot zur Beseitigung des Einflusses der Reflexion durch die Brillengläser.

Im Zustand der Helligkeit wird daher das Bild des Gesichts des Fahrers p durch Umschalten des Filters auf das erste optische Filter 46 fotografiert, dessen Durchlaßband nur im Bereich des sichtbaren Lichtes liegt, in welchem das Transmissionsvermögen der Beschichtung der Brillengläser hoch ist, wodurch der Einfluß der Oberflächenreflexion infolge der Gläser zunächst verringert wird, und die Lichtquelle 6 für Strahlen im nahen Infrarot wird dadurch eingeschaltet, daß das Beleuchtungssteuersignal zum Entfernen der Reflexion der Brille an die Beleuchtungssteuerschaltung 5 über die Ausgangs-I/F 14 in einem Falle geschickt wird, in welchem die Außenumgebung oder die nähere Umgebung des Gesichts des Fahrers p im Zustand der Helligkeit ist, oder die Brille des Fahrers p festgestellt wird, jedoch die Augen immer noch nicht festgestellt werden können, wie bei der Ausführungsform 1 oder der Ausführungsform 5.

Bei dieser Ausführungsform können selbst in einem Fall, in welchem die Oberflächenreflexion durch die Gläser wie bei der Ausführungsform 9 extrem stark ist, die Augen deutlich wahrnehmbar dadurch fotografiert werden, daß die Lichtquelle 6 für Strahlen im nahen Infrarot eingeschaltet wird, wodurch der Einfluß der Gläserreflexion sicher ausgeschaltet werden kann, und die Augen deutlich wahrnehmbar nur durch das erste optische Filter 46 bei der normal hervorgerufenen Gläserreflexion fotografiert werden können. Daher wird die Häufigkeit des Einsatzes der Lichtquelle für Strahlen im nahen Infrarot im Zustand der Helligkeit verringert, und kann ihre Lebensdauer weiter verlängert werden.

Obwohl die Pupillen des Fahrers p durch die LED 8 für Strahlen im nahen Infrarot im Zustand der Dunkelheit bei den voranstehend geschilderten Ausführungsformen 6 bis 11 fotografiert werden, kann das Gesicht des Fahrers dadurch beleuchtet und fotografiert werden, daß der nahe Infrarotbereich einer Lichtquelle wie etwa einer Halogenlampe oder einer Xenonlampe verwendet wird, oder die Lichtquelle für nahes Infrarot, bei welcher mehrere LEDs für nahes Infrarot zusammengebaut sind, wie bei der Ausführungsform 1.

Obwohl die Gesichtsbildaufna 05886 00070 552 001000280000000200012000285910577500040 0002019603287 00004 05767hmevorrichtungen zur Erfassung des Einschlafzustands oder dergleichen des Fahrers eines Fahrzeuges im Zusammenhang mit den voranstehend geschilderten voranstehenden Ausführungsformen beschrieben wurden, können sie selbstverständlich auch als Gesichtsbildaufnahmevorrichtungen verwendet werden, die in einer Erfassungsvorrichtung für den Zustand einer Person verwendet werden, bei welcher allgemein der Zustand einer Person festgestellt wird, durch Erfassung der Augen der zu erfassenden Person durch Bildbearbeitung eines Bildes des Gesichts der zu erfassenden Person.

Infolge der voranstehend geschilderten Anordnungen erzielt die vorliegende Erfindung folgende Wirkungen.

Bei der Gesichtsbildaufnahmevorrichtung gemäß der Erfindung wird das Gesicht einer zu erfassenden Person dadurch beleuchtet, daß die Infrarotstrahlbeleuchtungsvorrichtung erregt wird, wenn die Augenerfassungsvorrichtung nicht die Augen der zu erfassenden Person erfaßt, und daher kann der Einfluß der Reflexion durch eine Brille, welche der Fahrer trägt, verringert werden.

Bei der Gesichtsbildaufnahmevorrichtung gemäß der vorliegenden Erfindung wird das Gesicht der zu erfassenden Person beleuchtet durch Erregung der Infrarotstrahlbeleuchtungsvorrichtung in einem Fall, in welchem die Helligkeits/Dunkelheitserfassungsvorrichtung den Zustand der Helligkeit feststellt, und darüber hinaus die Augenerfassungsvorrichtung nicht die Augen der zu erfassenden Person erfaßt, und daher kann der Energieverbrauch verringert werden.

Bei der Gesichtsbildaufnahmevorrichtung gemäß der vorliegenden Erfindung wird der Zustand der Helligkeit oder der Zustand der Dunkelheit auf Grundlage der Tatsache bestimmt, ob die Helligkeit des Bildes einschließlich des Gesichts der zu erfassenden Person, welches von der zweidimensionalen Bildaufnahmevorrichtung fotografiert wird, größer oder gleich einer vorbestimmten Helligkeit ist, und daher kann der Aufbau der Vorrichtung vereinfacht werden.

Bei der Gesichtsbildaufnahmevorrichtung gemäß der vorliegenden Erfindung wird die Infrarotstrahlbeleuchtungsvorrichtung einmal angehalten, nachdem ein vorbestimmter Zeitraum abgelaufen ist, seitdem die Infrarotstrahlbeleuchtungsvorrichtung erregt wurde, und daher kann die Infrarotstrahlbeleuchtungsvorrichtung dann erregt werden, wenn dies erforderlich ist.

Bei der Gesichtsbildaufnahmevorrichtung gemäß der vorliegenden Erfindung wird das Gesicht der zu erfassenden Person beleuchtet durch Erregung der Infrarotstrahlbeleuchtungsvorrichtung in einem Fall, in welchem die Brillenerfassungsvorrichtung die Brille erfaßt, und die Augenerfassungsvorrichtung nicht die Augen der zu erfassenden Person erfaßt, und daher kann der Energieverbrauch verringert werden.

Bei der Gesichtsbildaufnahmevorrichtung gemäß der vorliegenden Erfindung ist die Vorrichtung mit der Infrarotstrahlbeleuchtungsvorrichtung für den Zustand der Dunkelheit versehen, welche das Gesicht der zu erfassenden Person mit dem Infrarotstrahl beleuchtet, der durch das optische Filter hindurchgelangt, wenn die Helligkeits/Dunkelheitserfassungsvorrichtung den Zustand der Dunkelheit feststellt, und die Infrarotstrahlbeleuchtungsvorrichtung für den Zustand der Dunkelheit und die Infrarotstrahlbeleuchtungsvorrichtung, welche erregt wird, wenn die Augenerfassungsvorrichtung nicht die Augen der zu erfassenden Person feststellt, funktionieren getrennt, und daher kann der Energieverbrauch verringert werden.

Bei der Gesichtsbildaufnahmevorrichtung gemäß der vorliegenden Erfindung wird das Bild des Gesichts der zu erfassenden Person dadurch fotografiert, daß das sichtbare Licht in dem vorbestimmten Wellenlängenbereich und Infrarotstrahlen mit einer Wellenlänge größer oder gleich einer vorbestimmten Wellenlänge durch das Filter hindurchgelassen werden, und daher kann durch einen einfachen Aufbau der Einfluß der Reflexion infolge der von dem Fahrer getragenen Brille verringert werden.

Bei der Gesichtsbildaufnahmevorrichtung gemäß der vorliegenden Erfindung wird das Bild des Gesichts der zu erfassenden Person nur durch das sichtbare Licht in dem vorbestimmten Wellenlängenbereich und Infrarotstrahlen in dem vorbestimmten Wellenlängenbereich fotografiert, und daher kann ein deutlicheres Bild zur Verfügung gestellt werden.

Bei der Gesichtsbildaufnahmevorrichtung gemäß der vorliegenden Erfindung wird das Bild des Gesichts der zu erfassenden Person durch das sichtbare Licht in dem vorbestimmten Wellenlängenbereich und die Infrarotstrahlen mit einer Wellenlänge größer oder gleich der vorbestimmten Wellenlänge fotografiert, und wird das Gesicht der zu erfassenden Person beleuchtet durch Erregung der Infrarotstrahlbeleuchtungsvorrichtung in einem Fall, in welchem die Augen nicht in dem Bild des Gesichts festgestellt werden können, und daher kann selbst in einem Fall, in welchem die Reflexion infolge der von dem Fahrer getragenen Brille vergleichsweise stark ist, dieser Einfluß verringert werden.

Bei der Gesichtsbildaufnahmevorrichtung gemäß der vorliegenden Erfindung ist das erste optische Filter auf der optischen Achse der zweidimensionalen Bildaufnahmevorrichtung angeordnet, wenn die Helligkeits-/Dunkelheits- Erfassungsvorrichtung den Zustand der Helligkeit feststellt, und ist das zweite optische Filter auf der optischen Achse der zweidimensionalen Bildaufnahmevorrichtung angeordnet, wenn die Helligkeits/Dunkelheits-Erfassungsvorrichtung den Zustand der Dunkelheit feststellt, und daher können die Augen deutlich erfaßt werden, und kann der Einfluß der Reflexion durch die von dem Fahrer getragene Brille verringert werden.

Claims (11)

1. Gesichtsbildaufnahmevorrichtung, umfassend die folgenden Merkmale:

• a) eine zweidimensionale Bildaufnahmevorrichtung (1, 2) zur Aufnahme eines Bildes eines vorbestimmten Bereiches einschließlich des Gesichts einer zu erfassenden Person (p);
• b) eine Augenerfassungsvorrichtung (b) zur Erfassung der Augen der Person auf der Grundlage des Bildes des Gesichts der Person, das von der zweidimensionalen Bildaufnahmevorrichtung (1, 2) aufgenommen wird;
• c) eine Infrarot-Beleuchtungseinheit (6) zum Beleuchten zumindest des Gesichts der zu erfassenden Person mit Infrarotlicht, wobei
• d) die Infrarot-Beleuchtungseinheit (6) so angeordnet ist, daß der Winkel, der zwischen der optischen Achse der zweidimensionalen Bildaufnahmevorrichtung (1, 2) und der optischen Achse der Infrarotstrahlen (ϕL) gebildet wird, größer oder gleich einem vorbestimmten Winkel ist; und
• e) eine Beleuchtungs-Steuereinheit (5, 105) zum EIN/AUS-Schalten der Infrarot-Beleuchtungseinheit (6);

dadurch gekennzeichnet, daß

• a) ein optisches Filter (4), das ein Durchlaßband aufweist, das zumindest Infrarotstrahlen in einem vorbestimmten Wellenlängenbereich durchläßt, auf einer optischen Achse der zweidimensionalen Bildaufnahmevorrichtung (1, 2) angeordnet ist; und
• b) die Beleuchtungs-Steuereinheit (5, 105) die Infrarot-Beleuchtungseinheit (6) dann EIN-schaltet, wenn die Augenerfassungsvorrichtung (b) die Augen der zu erfassenden Person nicht erfasst (ST31, ST32, ST40).

2. Gesichtsbildaufnahmevorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß der Winkel so gewählt ist, daß ein von der Infrarot- Beleuchtungseinheit (6) ausgesendeter und auf ein Glas einer Brille (g) der zu erfassenden Person (p) auftreffender Lichtstrahl (ϕL) so reflektiert wird, daß der reflektierte Lichtstrahl (ϕR) nicht auf die Bildaufnahmevorrichtung (1, 2) auftrifft.

3. Gesichtsbildaufnahmevorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß

• 1. eine Helligkeits/Dunkelheits-Erfassungsvorrichtung (7) vorgesehen ist, um entweder den Zustand der Helligkeit oder den Zustand der Dunkelheit in der Umgebung der zu erfassenden Person festzustellen, oder in der Nähe des Gesichts, durch Erfassung der Helligkeit der Umgebung der zu erfassenden Person oder der Umgebung des Gesichts; und
• 2. die Beleuchtungs-Steuereinheit (5, 105) die Infrarot-Beleuchtungseinheit (6) EIN-schaltet (ST40), wenn die Helligkeits/Dunkelheits- Erfassungsvorrichtung (7) den Zustand der Helligkeit feststellt (ST32) und die Augenerfassungsvorrichtung (b) die Augen der zu erfassenden Person nicht erfasst.

4. Gesichtsbildaufnahmevorrichtung nach Anspruch 3, dadurch gekennzeichnet, daß die Helligkeits/Dunkelheits-Erfassungsvorrichtung (7) den Zustand der Helligkeit bzw. den Zustand der Dunkelheit bestimmt, wenn die Helligkeit eines Bildes einschließlich des Gesichts der zu erfassenden Person, welches von der zweidimensionalen Bildaufnahmevorrichtung (1, 2) aufgenommen wurde, größer oder gleich bzw. kleiner wie eine vorbestimmte Helligkeit ist.

5. Gesichtsbildaufnahmevorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Beleuchtungs-Steuereinheit (5, 105) die Infrarot- Beleuchtungseinheit (6) einmal AUS-schaltet, wenn ein vorbestimmter Zeitraum seit der EIN-Schaltung der Infrarot-Beleuchtungseinheit (6) abgelaufen ist (ST33- ST35).

6. Gesichtsbildaufnahmevorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß

• 1. eine Brillenerfassungsvorrichtung (ST81) zur Erfassung des Vorhandenseins oder der Abwesenheit einer von der zu erfassenden Person getragenen Brille vorhanden ist; und
• 2. die Beleuchtungs-Steuereinheit (5, 105) die Infrarot-Beleuchtungseinheit (6) EIN-schaltet (ST40), wenn die Brillenerfassungsvorrichtung (ST81) eine Brille erfasst und die Augenerfassungsvorrichtung (b) die Augen der zu erfassenden Person nicht erfasst (St31).

7. Gesichtsbildaufnahmevorrichtung nach Anspruch 3, dadurch gekennzeichnet, daß eine zweite Infrarot-Beleuchtungseinheit (8) vorgesehen ist, um das Gesicht der zu erfassenden Person mit Infrarotstrahlen zu beleuchten, wenn die Helligkeits/Dunkelheits-Erfassungsvorrichtung (7) den Zustand der Dunkelheit feststellt.

8. Gesichtsbildaufnahmevorrichtung, nach Anspruch 1, dadurch gekennzeichnet, daß das optische Filter (43) mit einem ersten Durchlaßband (41), welches sichtbares Licht in einem vorbestimmten Wellenlängenbereich durchläßt, und mit einem zweiten Durchlaßband (42), welches Infrarotstrahlen durchläßt, die eine Wellenlänge größer oder gleich einer vorbestimmten Wellenlänge aufweisen, versehen ist.

9. Gesichtsbildaufnahmevorrichtung nach Anspruch 8, dadurch gekennzeichnet, daß das zweite Durchlaßband (42) des optischen Filters (43) Infrarotstrahlen nur in einem vorbestimmten Wellenlängenbereich durchläßt.

10. Gesichtsbildaufnahmevorrichtung nach Anspruch 8, dadurch gekennzeichnet, daß das optische Filter (43) mit den beiden Durchlaßbändern (41, 42) ein erstes optisches Filter (41) sowie ein zweites optisches Filter (42) umfasst, die hintereinander auf der optischen Achse der zweidimensionalen Bildaufnahmevorrichtung (1, 2) angeordnet sind.

11. Gesichtsbildaufnahmevorrichtung nach Anspruch 3 oder 4, dadurch gekennzeichnet, daß

• 1. das optische Filter (65) ein erstes optisches Filter (46), welches ein erstes Durchlaßband aufweist, sowie ein zweites optisches Filter (47), welches ein zweites Durchlaßband aufweist, umfasst; und
• 2. eine Filterwechselvorrichtung (60-65) vorgesehen ist, zum Anordnen des ersten optischen Filters (46) auf einer optischen Achse der zweidimensionalen Bildaufnahmevorrichtung (1, 2), wenn die Helligkeits/Dunkelheits-Erfassungsvorrichtung (7) den Zustand der Helligkeit feststellt, und zur Anordnung des zweiten optischen Filters (47) auf der optischen Achse der zweidimensionalen Bildaufnahmevorrichtung (1, 2), wenn die Helligkeits/Dunkelheits-Erfassungsvorrichtung (7) den Zustand der Helligkeit feststellt.