DE19603287C2 - Gesichtsbildaufnahmevorrichtung - Google Patents
GesichtsbildaufnahmevorrichtungInfo
- Publication number
- DE19603287C2 DE19603287C2 DE19603287A DE19603287A DE19603287C2 DE 19603287 C2 DE19603287 C2 DE 19603287C2 DE 19603287 A DE19603287 A DE 19603287A DE 19603287 A DE19603287 A DE 19603287A DE 19603287 C2 DE19603287 C2 DE 19603287C2
- Authority
- DE
- Germany
- Prior art keywords
- brightness
- face
- glasses
- person
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Input (AREA)
- Emergency Alarm Devices (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Description
Die vorliegende Erfindung betrifft eine Gesichtsbildaufnahmevorrichtung
nach dem Oberbegriff des Patentanspruchs 1.
Es wurde bereits eine Fahrerzustandserfassungsvorrichtung zum
Fotografieren des Gesichts eines Fahrers mit einer innerhalb
eines Fahrzeugs vorgesehenen Kamera beschrieben, wobei die
Augen herausgezogen werden, die einen charakteristischen
Abschnitt des Gesichts darstellen, durch Bearbeitung eines
aufgenommenen Bildes des Gesichts, und der Zustand des
Fahrers des Fahrzeugs beim Fahren beispielsweise daraus
ermittelt wird, ob er zur Seite sieht oder eingenickt ist,
auf der Grundlage des Öffnungs-/Schließzustands des Auges,
wie in der japanischen Veröffentlichung eines ungeprüften
Patents Nr. 68500/1992 oder der japanischen Veröffentlichung
eines ungeprüften Patents Nr. 32154/1994 (die den Oberbegriff des Anspruchs 1 offenbart) beschrieben. Als
derartige Vorrichtungen zur Aufnahme eines Bildes eines
Fahrers wurden Kameras beschrieben, welche das Gesicht des
Fahrers durch Bildaufnahmeelemente wie beispielsweise CCD
aufnehmen, wobei ein Filter vorgesehen ist, welches
sichtbares Licht vor den Bildaufnahmeelementen abschneidet,
wogegen das Gesicht des Fahrers durch ein Infrarot-Stroboskop
oder eine LED beleuchtet wird, deren Wellenlängenbereich im
nahen Infrarotbereich liegt, wobei eine derartige
Beleuchtungsvorrichtung in der Nähe der Kamera angeordnet
ist.
Die Fig. 25 bis 28 zeigen ein derartiges, konventionelles
Beispiel, wobei Fig. 25 den Aufbau einer
Fahrerzustandserfassungsvorrichtung mit einer konventionellen
Gesichtsbildaufnahmevorrichtung zeigt, in Fig. 26
Eigenschaftsdiagramme des spektroskopischen
Reflexionsvermögens verschiedener Brillengläser dargestellt
sind, Fig. 28 ein Eigenschaftsdiagramm des spektroskopischen
Transmissionsvermögens eines Abschneidefilters für sichtbares
Licht zeigt, welches in der Gesichtsbildaufnahmevorrichtung
verwendet wird, und Fig. 28 ein Beispiel für ein Gesicht
zeigt, welches eine Brille trägt, in einem hellen Zustand,
und welches von der konventionellen
Gesichtsbildaufnahmevorrichtung fotografiert wird. Unter
Bezugnahme auf die voranstehend geschilderten Zeichnungen
erfolgt nunmehr eine Beschreibung des konventionellen
Beispiels.
In Fig. 25 bezeichnet das Bezugszeichen 100 eine
Gesichtsbildaufnahmeeinheit, und 101 ein zweidimensionales
Bildaufnahmeelement, welches bei diesem Beispiel durch CCDs
gebildet wird. Das Bezugszeichen 102 bezeichnet eine
Bildsignalbearbeitungsschaltung, 103 bezeichnet eine
Bildaufnahmelinse, und 104 bezeichnet ein Abschneidefilter
für sichtbares Licht, welches auf einer optischen Achse vor
der Bildaufnahmelinse 103 angeordnet ist. Bei diesem
Abschneidefilter für sichtbares Licht beträgt die Wellenlänge
bei einem Transmissionsvermögen von 50% 700 nm, und schneidet
das Filterlicht mit einer Wellenlänge ab, die im wesentlichen
kleiner oder gleich 700 nm ist.
Die voranstehend erwähnte CCD 101, die
Bildsignalbearbeitungsschaltung 102, die Bildaufnahmelinse
103 und das Abschneidefilter 104 für sichtbares Licht bilden
eine Kameraeinheit 110. Das Bezugszeichen 105 bezeichnet eine
Beleuchtungssteuerschaltung, an welche ein
Helligkeits/Dunkelheitsausgangssignal der
Bildsignalbearbeitungsschaltung 102 angeschlossen ist, und
das Bezugszeichen 106 bezeichnet eine Lichtquelle, welche
eine Lichtquelle im nahen Infrarotbereich ist, und bei
welcher ein Abschneidefilter für sichtbares Licht vor einer
Lichtquelle vorgesehen ist, bei welcher mehrere Infrarot-LEDs
mit hoher Helligkeit vorgesehen sind, eine Halogenlampe oder
eine Xenonlampe. Die Beleuchtungssteuerschaltung 105 und die
Lichtquelle 106 im nahen Infrarotbereich sind vereinigt und
getrennt von der Kameraeinheit 110 vorgesehen. Das
Bezugszeichen 120 bezeichnet eine
Gesichtsbildbearbeitungseinheit, wobei das Bezugszeichen 121
eine Eingangsschnittstelle (I/F) bezeichnet, an welche CCD-
Fotoaufnahmetaktsignale von der
Bildsignalbearbeitungsschaltung 102 angelegt werden, das
Bezugszeichen 122 bezeichnet einen Analog-/Digitalwandler
(A/D), an welchen ein von der Bildsignalbearbeitungsschaltung
102 ausgegebenes Bild angelegt wird, das Bezugszeichen 123
bezeichnet eine Bildbearbeitungshardware (H/W) mit Gatearrays
oder digitalen Signalprozessoren (DSP), an welche ein Ausgang
des A/D-Wandlers 122 angeschlossen ist, das Bezugszeichen 124
bezeichnet einen Bildspeicher, der an die Bildbearbeitungs-
H/W angeschlossen ist, das Bezugszeichen 125 bezeichnet eine
CPU, das Bezugszeichen 126 einen ROM, das Bezugszeichen 127
ein RAM, und das Bezugszeichen 128 eine Ausgangsschnittstelle
(I/F). Der A/D-Wandler 122, die Bildbearbeitungs-H/W 123, der
Bildspeicher 124, der ROM 126, das RAM 127, und die Ausgangs-
I/F 128 sind an die CPU 125 über einen Bus 129 angeschlossen.
Das Bezugszeichen 130 bezeichnet einen Fahrer, das
Bezugszeichen 131 eine Brille, welche der Fahrer trägt.
Nachstehend erfolgt eine Erläuterung des Betriebsablaufs.
Eine Komponente des sichtbaren Lichts von 700 nm oder weniger
von reflektiertem Licht, welches durch Reflexion von
Beleuchtungslicht oder Außenlicht durch das Gesicht des
Fahrers 130 erzeugt wird, wird durch das Abschneidefilter 104
für sichtbares Licht abgeschnitten, Licht im nahen
Infrarotbereich wird durch die Bildaufnahmelinse 103
gesammelt, und das Gesichtsbild des Fahrers 130 wird auf der
CCD 101 erzeugt, gesteuert durch die
Bildsignalbearbeitungsschaltung 102. Die
Bildsignalbearbeitungsschaltung 102 gibt das Gesichtsbild des
Fahrers 130, welches auf der CCD 101 erzeugt wurde, als ein
Bildsignal an den A/D-Wandler 122 aus, und gibt gleichzeitig
ein Hell/Dunkel-Zustandsignal an die
Beleuchtungssteuerschaltung 105 aus, durch Berechnung der
Helligkeit in der Umgebung des Gesichts des Fahrers 130 durch
Berechnung einer gemittelten Helligkeit auf der CCD 101.
Hierbei wird die Aufnahme des Fahrers 130 in einem solchen
Zustand schwierig, wenn keine Beleuchtung durch Sonnenlicht
vorhanden ist, beispielsweise bei Nacht oder in einem Tunnel.
Daher schaltet die Beleuchtungssteuerschaltung 105 die
Lichtquelle 106 im nahen Infrarotbereich ein, und beleuchtet
das Gesicht des Fahrers 130, wenn ein Dunkelzustandsignal von
der Bildsignalbearbeitungsschaltung 102 ausgegeben wird.
Das Gesicht wird ausreichend hell durch eine Komponente im
nahen Infrarot des Sonnenlichts zur Tageszeit fotografiert.
Daher schaltet die Beleuchtungssteuerschaltung 105 die
Lichtquelle 106 im nahen Infrarotbereich aus, wenn ein
Hellsignal von der Bildsignalbearbeitungsschaltung 102
ausgegeben wird.
Ein Bildsignal des Gesichtsbildes des Fahrers 103 wird durch
den A/D-Wandler 122 analog/digital in ein digitales
Gradationsbild umgewandelt, welches in ein binäres Bild durch
die Bildbearbeitungs-H/W 123 umgewandelt wird, nachdem kleine
Rauschkomponenten eliminiert wurden, durch einen Durchgang
durch ein Glättungsfilter, und in dem Bildspeicher 124
gespeichert wird. Dann erfolgt ein Zugriff auf das binäre
Bild in dem Bildspeicher 124 durch teilweise Verwendung der
Bildbearbeitungs-H/W, und werden die Augen aus dem binären
Bild herausgezogen, wird der Öffnungs- oder Schließzustand
der Augen festgestellt, der Schlafzustand des Fahrers 130 aus
dem Öffnungs-/Schließzustand der Augen festgestellt, und ein
Alarmsignal von der Ausgangs-I/F 128 nach außen ausgegeben,
und der Fahrer 130 in einem Fall alarmiert, wenn der
Schlafzustand ermittelt wurde. Diese Reihe von Operationen
wird durch die CPU 125 gemäß in dem ROM 126 gespeicherten
Befehlen entsprechend den CCD-Fotoaufnahmetaktsignalen
gesteuert, und das RAM 127 wird zur temporären Speicherung
von Daten bei der Steuerung und der Berechnung verwendet.
Allerdings gibt es bei einer derartigen konventionellen
Vorrichtung in der Hinsicht ein Problem, daß die Augen eines
Fahrers, welcher tagsüber die Brille 131 trägt, nicht
fotografiert werden können, infolge einer Reflexion der
Gläser der Brille 131.
Fig. 26 zeigt Beispiele für das spektroskopische
Reflexionsvermögen eines Brillenglases aus Glas oder
Kunststoff. Seit einiger Zeit sind praktisch sämtliche
Brillen 131 auf der Oberfläche der Gläser der Brille mit
einer Beschichtung zur Verhinderung von Reflexionen versehen.
Das spektroskopische Reflexionsvermögen eines derartigen
beschichteten Brillenglases wird im nahen Infrarotbereich
drastisch erhöht, wie im Vergleich zum Falle eines nicht
beschichteten Glases gezeigt ist. Beim Fahren eines Fahrzeugs
fährt der Fahrer 130 normalerweise so, daß er etwas nach oben
schaut. In einem derartigen Fall wird eine weiße Wolke oder
ein Teil der Außenumgebung durch die Brille 131 des Fahrers
130 reflektiert, und können die Augen in dem Gesichtsbild des
Fahrers 130, welches von der konventionellen
Gesichtsaufnahmevorrichtung 100 fotografiert würde, selbst
bei einer unbeschichteten Brille schlecht erkannt werden.
Insbesondere im Falle einer beschichteten Brille können die
Augen überhaupt nicht wahrgenommen werden, infolge der
Oberflächenreflexion der Gläser der Brille, wie in Fig. 28
gezeigt ist, infolge des hohen spektroskopischen
Reflexionsvermögens der Brillengläser im nahen
Infrarotbereich.
Daher ist die voranstehend beschriebene Vorrichtung in der Hinsicht
nachteilig, daß das Einnicken oder ein Blick zur Seite des
Fahrers nicht erfaßt werden kann.
Abgesehen von den voranstehend beschriebenen Vorrichtungen
gibt es weitere Vorrichtungen, die das Gesichtsfeld bzw. die
Augen eines Fahrers überwachen. Die DE 44 41 332 A1 beschreibt
eine Fahrer-Photographiervorrichtung mit einer speziellen
Möglichkeit, um an der Netzhaut eines Fahrers reflektierte
Bilder leicht und klar photographieren zu können. Eine LED ist
so angeordnet, daß über einen Reflektionsspiegel Licht auf das
Auge des Fahrers einfällt, das dann durch eine
Lichterfassungseinrichtung in Form einer CCD-Kamera erfaßt
wird. Hier ist die LED unter einem Winkel zu der
Aufnahmevorrichtung angeordnet, jedoch ist der Winkel nicht
bezüglich einer Brillenreflektion des Fahrers definiert, von
dem hier nicht angenommen wird, daß er eine Brille trägt.
Die ältere Anmeldung DE 195 09 689 A1 betrifft einen
Körperzustands-Erfassungsapparat, bei dem das Licht einer LED
auf eine Person einfällt und dann auf einer CCD-Kamera zu
liegen kommt. Hier ist der Winkel nicht speziell bezüglich
einer Brillenreflektion eingestellt, so daß hier keinerlei
Betrachtungen bezüglich der Reflektion von einer Brille
angestellt werden. Auch ist hier offen gelassen, wann die LED
ein- bzw. ausgeschaltet werden soll, wenn eine Augenerfassung
ausgeführt wird.
Die ältere Anmeldung DE 196 13 614 A1 betrifft eine Vorrichtung
zur Bearbeitung eines Bilds eines Gesichts, insbesondere eine
Augenerfassungseinrichtung, um die Augenmerkmale und die
Gesichtsmerkmale aus dem Bild zu extrahieren. Eine Lichtquelle
bestrahlt eine Person frontal, wobei eine Kamera unter einem
Winkel angeordnet ist. Betrachtungen hinsichtlich der
Reflektion von Brillengläsern und auch einer speziellen
Ein/Aus-Schaltung der Lichtquelle werden hier nicht
angestellt.
Aufgabe der Erfindung ist es nunmehr, eine Gesichtsbild-
Aufnahmevorrichtung bereitzustellen, die auch dann eine genaue
Erfassung des Augenzustands einer Person ermöglicht, wenn
Reflektionen von Lichtstrahlen am Auge oder an einem
Brillenglas auftreten.
Diese Aufgabe wird durch eine Gesichtsbild-Aufnahmevorrichtung
gemäß Patentanspruch 1 gelöst. Weitere vorteilhalfte
Ausführungsformen und Verbesserungen der Erfindung sind in den
Unteransprüchen angegeben.
Nachstehend wird die Erfindung anhand ihrer Ausführungsformen
unter Bezugnahme auf die Zeichnungen näher erläutert. In den
Zeichnungen zeigen:
Fig. 1 eine schematische Ansicht einer
Fahrerzustandserfassungsvorrichtung mit einer
Gesichtsbildaufnahmevorrichtung gemäß
Ausführungsform 1;
Fig. 2 ein Flußdiagramm zur Erfassung des Zustands eines
Fahrers bei der Ausführungsform 1;
Fig. 3 eine schematische Ansicht des Bildes des Gesichts
eines Fahrers, der eine Brille trägt;
Fig. 4 eine erläuternde Ansicht zur Einstellung von
Bereichen, in denen Augen vorhanden sind;
Fig. 5 eine erläuternde Ansicht der Lichtreflexion am
Gesicht eines Fahrers;
Fig. 6 ein Beispiel für das Bild des Gesichts, welches
eine Brille trägt, in einem hellen Zustand, und
welches durch die Gesichtsbildaufnahmevorrichtung
gemäß Ausführungsform 1 aufgenommen wird;
Fig. 7 ein Flußdiagramm in bezug auf das Herausziehen der
Augen;
Fig. 8 ein X-Achsen-Histogramm eines Bereichs, in welchem
ein Auge vorhanden ist;
Fig. 9 X-Achsen-Histogramme von Kandidatenbereichen;
Fig. 10 ein Blockschaltbild einer
Bildsignalbearbeitungsschaltung;
Die Erfindung wird nachstehend anhand zeichnerisch
dargestellter Ausführungsbeispiele näher erläutert, aus
welchen weitere Vorteile und Merkmale hervorgehen. Es zeigt:
Fig. 1 eine schematische Ansicht einer
Fahrerzustandserfassungsvorrichtung mit einer
Gesichtsbildaufnahmevorrichtung gemäß
Ausführungsform 1;
Fig. 2 ein Flußdiagramm zur Erfassung des Zustands eines
Fahrers bei der Ausführungsform 1;
Fig. 3 eine schematische Ansicht des Bildes des Gesichts
eines Fahrers, der eine Brille trägt;
Fig. 4 eine erläuternde Ansicht zur Einstellung von
Bereichen, in denen Augen vorhanden sind;
Fig. 5 eine erläuternde Ansicht der Lichtreflexion am
Gesicht eines Fahrers;
Fig. 6 ein Beispiel für das Bild des Gesichts, welches
eine Brille trägt, in einem hellen Zustand, und
welches durch die Gesichtsbildaufnahmevorrichtung
gemäß Ausführungsform 1 aufgenommen wird;
Fig. 7 ein Flußdiagramm in bezug auf das Herausziehen der
Augen;
Fig. 8 ein X-Achsen-Histogramm eines Bereichs, in welchem
ein Auge vorhanden ist;
Fig. 9 X-Achsen-Histogramme von Kandidatenbereichen;
Fig. 10 ein Blockschaltbild einer
Bildsignalbearbeitungsschaltung;
Fig. 11 ein Diagramm der Regeleigenschaften einer
automatischen Verstärkungsregelschaltung;
Fig. 12 ein Flußdiagramm zur Erfassung des Zustands eines
Fahrers bei der Ausführungsform 4;
Fig. 13 ein Flußdiagramm zur Erfassung einer Brille bei der
Ausführungsform 4;
Fig. 14 eine schematische Ansicht einer
Fahrerzustandserfassungsvorrichtung mit einer
Gesichtsbildaufnahmevorrichtung gemäß
Ausführungsform 5;
Fig. 15 ein Beispiel für das Bild eines Gesichts in dunklem
Zustand;
Fig. 16 eine schematische Ansicht einer
Fahrerzustandserfassungsvorrichtung mit einer
Gesichtsbildaufnahmevorrichtung bei Ausführungsform
6;
Fig. 17 eine perspektivische Ansicht des Aussehens einer
Bildaufnahmeeinheit a bei der Ausführungsform 6;
Fig. 18 eine Schnittansicht der Bildaufnahmeeinheit a gemäß
Ausführungsform 6;
Fig. 19 ein Eigenschaftsdiagramm der spektroskopischen
Transmissionsvermögens eines zusammengesetzten
optischen Filters;
Fig. 20 ein Eigenschaftsdiagramm des spektroskopischen
Transmissionsvermögens eines zusammengesetzten
optischen Filters gemäß Ausführungsform 7;
Fig. 21 eine schematische Ansicht einer
Fahrerzusandserfassungsvorrichtung mit einer
Gesichtsbildaufnahmevorrichtung gemäß
Ausführungsform 10;
Fig. 22 eine Schnittansicht einer Bildaufnahmeeinheit a von
Ausführungsform 10;
Fig. 23 eine perspektivische Ansicht einer
Filterwechseleinheit von Ausführungsform 10;
Fig. 24 ein Eigenschaftsdiagramm des spektroskopischen
Transmissionsvermögens eines optischen Filters bei
der Ausführungsform 10;
Fig. 25 eine schematische Ansicht einer
Fahrerzustandserfassungsvorrichtung mit einer
konventionellen Gesichtsbildaufnahmevorrichtung;
Fig. 26 Eigenschaftsdiagramme des spektroskopischen
Reflexionsvermögens verschiedener Brillengläser;
Fig. 27 ein Eigenschaftsdiagramm des spektroskopischen
Transmissionsvermögens eines Abschneidefilters für
sichtbares Licht, welches bei der konventionellen
Gesichtsbildaufnahmevorrichtung verwendet wird; und
Fig. 28 ein Beispiel für das Bild eines Gesichts, welches
eine Brille trägt, in einem hellen Zustand, wobei
das Bild durch die konventionelle
Gesichtsbildaufnahmevorrichtung aufgenommen wurde.
Die Fig. 1 bis 19 zeigen eine Ausführungsform einer
Gesichtsbildaufnahmevorrichtung gemäß der vorliegenden
Erfindung, wobei Fig. 1 eine schematische Ansicht einer
Fahrerzustandserfassungsvorrichtung mit einer
Gesichtsbildaufnahmevorrichtung ist, Fig. 2 ein Flußdiagramm
zur Beschreibung der Erfassung des Zustands eines Fahrers,
Fig. 3 eine schematische Ansicht des Bildes des Gesichts
eines Fahrers, der eine Brille trägt, Fig. 4 eine erläuternde
Ansicht zur Verdeutlichung der Einstellung von Bereichen, in
denen Augen vorhanden sind, Fig. 5 eine erläuternde Ansicht
der Lichtreflexion am Gesicht eines Fahrers, Fig. 6 ein
Beispiel für das Bild eines Gesichts, welches eine Brille
trägt, in einem hellen Zustand, wobei das Bild von einer
Gesichtsbildaufnahmevorrichtung gemäß der vorliegenden
Erfindung aufgenommen wird, Fig. 7 ein Flußdiagramm zur
Beschreibung des Herausziehens von Augen ist, Fig. 8 ein X-
Achsen-Histogramm eines Bereichs ist, in welchem Augen
vorhanden sind, und Fig. 9 X-Achsen-Histogramme von
Kandidatenbereichen zeigt. Nachstehend erfolgt eine
Erläuterung dieser Ausführungsform unter Bezugnahme auf die
Zeichnungen.
In Fig. 1 ist mit "a" eine Gesichtsbildaufnahmeeinheit
bezeichnet, mit "b" eine Gesichtsbildbearbeitungseinheit, und
mit "c" eine Kameraeinheit. In Fig. 1 bezeichnet das
Bezugszeichen 1 eine CCD als zweidimensionale
Bildaufnahmevorrichtung zum Aufnehmen eines Bildes eines
vorbestimmten Bereiches einschließlich des Gesichts eines
Fahrers, wobei Pixel (Bildpunkte) in einer Anzahl von 768 × 493
oder insgesamt 380.000 verwendet werden. Das Bezugszeichen 2
bezeichnet eine Bildsignalbearbeitungsschaltung zur
Bearbeitung von Signalen von der CCD 1, und das Bezugszeichen
3 bezeichnet eine Bildaufnahmelinse (oder ein
Bildaufnahmeobjektiv), die auf einer optischen Achse vor der
CCD 1 vorgesehen ist, und das Bezugszeichen 4 bezeichnet ein
Abschneidefilter für sichtbares Licht als optisches Filter
zum Abschneiden sichtbaren Lichts, welches auf die
Bildaufnahmelinse 3 fällt, und welches auf der optischen
Achse noch vor der Bildaufnahmelinse 3 angeordnet ist. Das
Abschneidefilter 4 für sichtbares Licht weist die in Fig. 27
gezeigten spektroskopischen Eigenschaften auf. Die
Kameraeinheit c, welche durch die CCD 1, die
Bildsignalbearbeitung 2, die Bildaufnahemlinse 3 und das
Abschneidefilter 4 für sichtbares Licht gebildet wird, ist
auf einem Armaturenbrett, einer Instrumententafel und
dergleichen am Ort des Fahrersitzes vorgesehen, und
fotografiert einen vorbestimmten Bereich einschließlich des
Gesichts des Fahrers von vor dem Fahrer aus in Richtung auf
eine Richtung, in welcher das Gesicht in dessen Längsrichtung
den 768 Pixel der CCD 1 entspricht. Es ist besonders
vorteilhaft zum Herausziehen von Augenbereichen, den
Aufnahmewinkel so auszubilden, daß er von vorn nach hinten
zum Gesicht hin absinkt.
Das Bezugszeichen 5 bezeichnet eine
Beleuchtungssteuerschaltung als Erregervorrichtung zum
Erregen oder Stoppen einer Infrarotstrahllichtquelle durch
Empfang eines Ausgangssignals von einer CPU, wie nachstehend
noch erläutert wird. Das Bezugszeichen 6 bezeichnet eine
Infrarotstrahllichtquelle als
Infrarotstrahlbeleuchtungsvorrichtung zum Aufstrahlen eines
Infrarotstrahls in Richtung zum Gesicht des Fahrers oder in
einer Richtung einschließlich der Umgebung, wobei die
Lichtquelle durch die Beleuchtungssteuerschaltung 5 erregt
wird. Die Infrarotstrahllichtquelle 6 ist in einer solchen
Position angebracht, daß normal reflektiertes Licht "r",
welches durch Reflexion des Strahls im nahen Infrarot, der
von der Lichtquelle 6 im nahen Infrarot ausgestrahlt wird,
durch Gläser der Brille des Fahrers erzeugt wird, nicht
direkt auf die Bildaufnahmelinse 3 der Kameraeinheit c
auftrifft. Genauer gesagt ist die Lichtquelle 6 für Strahlen
im nahen Infrarot an einem Ort angeordnet, der oberhalb,
unterhalb, links oder rechts von der Kameraeinheit c
angeordnet ist, so daß der Winkel, der durch die optische
Achse des Strahls im nahen Infrarot, der von der Lichtquelle
6 für Strahlen im nahen Infrarot ausgestrahlt wird, und die
optische Achse der Kameraeinheit c ausgebildet wird,
annähernd 20° bis 30° oder mehr beträgt.
Das Bezugszeichen 7 bezeichnet einen Beleuchtungssensor als
Helligkeits/Dunkelheits-Erfassungsvorrichtung zur Erfassung
der Helligkeit der Umgebung oder des Gesichts des Fahrers,
und zur Erfassung, ob sich dieses in einem hellen Zustand
oder einem dunklen Zustand befindet, wobei der Sensor an
einem solchen Ort angeordnet ist, beispielsweise am
Armaturenbrett oder in einem Abschnitt des Fahrzeugs
unterhalb eines Rückfensters und dergleichen, daß er die
Helligkeit in der Umgebung oder im Gesicht des Fahrers
feststellt.
Die Gesichtsbildbearbeitungseinheit b ist folgendermaßen
aufgebaut. In Fig. 1 bezeichnet das Bezugszeichen 10 eine
Eingangs- I/F, die verschiedene Signale empfängt,
beispielsweise CCD-Aufnahmetaktsignale oder Verschlußsignale
der Bildsignalbearbeitungsschaltung 2, und ein Ausgangssignal
von dem Beleuchtungssensor 7 empfängt, das Bezugszeichen 11
bezeichnet einen A/D -Wandler, welchem ein Bildausgangssignal
von der Bildsignalbearbeitungsschaltung zugeführt wird, das
Bezugszeichen 12 bezeichnet eine Bildbearbeitungshardware
(H/W), die durch Gatearrays oder digitale Signalprozessoren
(DSP) gebildet wird, und an welche der Ausgang des A/D-
Wandlers 11 angeschlossen ist, das Bezugszeichen 13
bezeichnet einen Bildspeicher, der an die Bildbearbeitungs-
H/W 12 angeschlossen ist, und das Bezugszeichen 14 bezeichnet
eine Ausgangs-I/F, welche Befehle von einer CPU 15 ausgibt,
welche Berechnungen durchführt, und bei welcher zumindest
einer ihrer Ausgänge an die Beleuchtungssteuerschaltung 5
angeschlossen ist.
Das Bezugszeichen 16 bezeichnet ein ROM, in welchem
verschiedene Programme oder numerische Werte gespeichert
sind, das Bezugszeichen 17 bezeichnet ein RAM, in welchem
temporär Werte während der Berechnung gespeichert und
gehalten werden, und das Bezugszeichen 18 bezeichnet eine
Ausgangs-I/F, welche an verschiedene Instrumente in
nachgeschalteten Stufen angeschlossen ist. Die Eingangs-I/F
10, der A/D-Wandler 11, die Bildbearbeitungs-H/W 12, der
Bildspeicher 13, der ROM 16, das RAM 17, und die Ausgangs-I/F
18 sind über einen Bus an die CPU 15 angeschlossen.
Fig. 2 ist ein Flußdiagramm zur Beschreibung der Erfassung
des Zustands eines Fahrers. Obwohl eine Steuerung durch die
Gesichtsbildaufnahmevorrichtung zum Einschalten der
Lichtquelle für Strahlen im nahen Infrarot im dunklen Zustand
wie beispielsweise bei Nacht vorhanden ist, wird dies bei der
Ausführungsform 1 nicht im einzelnen beschrieben.
Nachstehend erfolgt eine Beschreibung des Betriebsablaufs der
Ausführungsform 1 unter Bezugnahme auf Fig. 2. Bei einer
Bildeingabevorrichtung im Schritt ST10 wird ein Bildsignal
VOUT eines in Fig. 3 gezeigten Originalbilds, welches durch
die CCD 1 aufgenommen wird, in ein digitales
Gradationsbildsignal umgewandelt, welches an die
Bildbearbeitungs-H/W 12 ausgegeben wird, wobei dadurch kleine
Rauschbestandteile entfernt werden, daß das Signal durch ein
geeignetes Glättungsfilter geleitet wird. In einer Float-
Binärumwandlungsvorrichtung des Schritts ST20 wird das Signal
float-binär gewandelt in ein binäres Bild durch die
Bildbearbeitungs-H/W 12, und wird die Länge eines Pixels,
welches etwas länger als die Breite in der Längsrichtung des
Auges ist, auf eine vorbestimmte Länge gesetzt. Im Schritt
ST22 werden dunkle Blöcke entfernt, die jeweils größer sind
als die vorbestimmte Länge in der Längsrichtung des Gesichts.
Im Schritt ST22 wird ein binäres Bild 201, in welchem ein
Haarbereich, der sich bei verschiedenen Personen wesentlich
unterscheiden kann, im wesentlichen entfernt ist, wie in Fig.
4 gezeigt, in den Bildspeicher 13 eingegeben und dort
gespeichert. Daraufhin führt im Schritt ST30 eine
Augenherausziehvorrichtung das Herausziehen von Augen aus dem
Gesichtsbild durch, mit Hilfe eines Zugriffs auf das binäre
Bild 201 in dem Bildspeicher 13 unter teilweiser Verwendung
der Bildbearbeitungs-H/W 12. Im Schritt ST30 wird eine
Augenherausziehroutine durchgeführt, die später noch genauer
erläutert wird. Wenn die voranstehend geschilderte
Augenherausziehroutine von der Augenherausziehvorrichtung als
Augenerfassungsvorrichtung im Schritt ST3 beendet wurde, wird
im Schritt ST31 ermittelt, ob eine Augenherausziehmarke
eingeschaltet (ON) ist oder nicht.
Hierbei ist die Augenerfassungsmarke ausgeschaltet (OFF) bei
einem Gesichtsbild, bei welchem die Augen überhaupt nicht
wahrgenommen werden, infolge der Oberflächenreflexion der
Brillengläser, wie in Fig. 28 gezeigt, da die Augen bei der
Augenherausziehroutine ST30 nicht festgestellt werden. Ist
die Augenerfassungsmarke OFF, so geht der Betriebsablauf zum
Schritt zum Schritt ST32 über, in welchem ein
Helligkeits/Dunkelheits-Signal des Beleuchtungssensors 7 von
der Eingangs-I/F 10 gelesen wird und festgestellt wird, ob
die Außenumgebung hell ist oder nicht, auf Grundlage des
Helligkeits/Dunkelheits-Signals. Wird festgestellt, daß die
Außenumgebung hell ist, so wird ermittelt, daß die Augen
infolge der Oberflächenreflexion der Brillengläser nicht
herausgezogen werden konnten, und dann schaltet der
Betriebsablauf die Lichtquelle 6 für Strahlen im nahen
Infrarot ein, durch Aussenden eines
Beleuchtungssteuersignals, um die Brillenreflexion zu
entfernen, von der Ausgangs-I/F 14 an die
Beleuchtungssteuerschaltung 5 im Schritt ST40, wodurch das
Gesicht des Fahrers oder die Umgebung einschließlich des
Gesichtes beleuchtet wird.
Nunmehr erfolgt eine Erläuterung der Gründe zum Bestrahlen
eines Strahls im nahen Infrarot auf das Gesicht des Fahrers,
wenn die Augen infolge der Oberflächenreflexion der
Brillengläser nicht festgestellt werden können.
Fig. 5 ist ein Diagramm, welches Reflektions-Lichtflüsse und
Transmissions-Lichtflüsse an einem Auge "e" und einer Brille
"g" in einem Fall zeigt, in welchem ein Lichtfluß Φi von
einem äußeren Gegenstand "i" und ein Lichtfluß ΦL von der
Lichtquelle 6 für einen Strahl im nahen Infrarot das Gesicht
eines Fahrers beleuchten, welcher die Brille "g" trägt. In
Fig. 5 wird ein Lichtfluß Φ, welcher in die Kameraeinheit c
eintritt, durch folgende Gleichung (1) ausgedrückt
Φ = ΦiR + ΦiT + ΦLT (1)
wobei ΦiR ein Reflexions-Lichtfluß des Lichtflusses Φi ist,
der durch die Brille g reflektiert wird, ΦiT ein diffuser
Reflexions-Lichtfluß des Lichtflusses Φi ist, welcher vom
Auge e eines Fahrer "p" reflektiert wird, nachdem er durch
die Brille "g" hindurchgelangt ist, und ΦLT ein
entsprechender, diffuser Reflexions-Lichtfluß eines
Strahlungslichtflusses ΦL von der Lichtquelle 6 für Strahlen
im nahen Infrarot ist, reflektiert vom Auge e.
Wie voranstehend geschildert ist die Lichtquelle 6 für
Strahlen im nahen Infrarot so angeordnet, daß der Winkel, der
durch die optische Achse ihres Beleuchtungslichtes und die
optische Achse der Kameraeinheit c gebildet wird, größer oder
gleich einem vorbestimmten Winkel ist, und daher trifft ein
Reflexions-Lichtfluß ΦLR des Bestrahlungs-Lichtflusses ΦL
von der Lichtquelle 6 für Strahlen im nahen Infrarot, der vom
Glas der Brille g reflektiert wird, nicht auf die
Kameraeinheit c auf.
Wenn eine Bildhelligkeit auf der CCD 1 dadurch beschrieben
wird, daß sie entsprechend des Reflektions-Lichtflusses
klassifiziert wird, der von der Brille g reflektiert wird,
und entsprechend dem diffusen Reflexions-Lichtfluß, der von
dem Auge e reflektiert wird, so werden die Helligkeit ΦR
infolge des Reflexions-Lichtflusses durch die Brille g und
eine Helligkeit ΦT infolge des diffusen Lichtflusses durch
das Auge e jeweils durch eine der folgenden Gleichungen (2)
ausgedrückt
ΦR = ΣλΦiR(λ)F(λ)R(λ)
ΦT = ΣλΦiT(λ) + ΦLT)F(λ)R(λ) (2)
ΦT = ΣλΦiT(λ) + ΦLT)F(λ)R(λ) (2)
wobei F(λ) eine spektroskopische Transmissionscharakteristik
des optischen Filters 4 ist, und R(λ) eine spektroskopische
Empfindlichkeitscharakteristik der CCD 1 ist. Das Verhältnis
K der Helligkeit ΦT infolge des diffusen Reflexions-
Lichtflusses durch das Auge e zur Gesamthelligkeit des Bildes
wird durch die folgende Gleichung (3) gegeben.
K = ΦT/(ΦR + ΦT) (3)
Je größer das Verhältnis K ist, desto deutlicher kann das
Auge e festgestellt werden.
Wie aus der Gleichung (3) deutlich wird, wird in einem Fall,
in welchem das Auge nicht erkannt werden kann, da das
Verhältnis der Helligkeit ΦR infolge des Reflexions-
Lichtflusses durch die Brille g zur Helligkeit ΦT groß ist,
das Verhältnis von ΦT zu ΦR dadurch erhöht, daß ΦLT
hinzuaddiert wird durch Einschalten der Lichtquelle 6 für
Strahlen im nahen Infrarot.
Daher können die Augen dadurch deutlich wahrgenommen werden,
daß der Strahl im nahen Infrarot hinzugefügt wird, selbst
wenn eine Reflexion durch die Brillengläser auftritt.
Fig. 6 zeigt ein Bild, das entsteht, wenn das Gesicht des
Fahrers p durch Einschalten der Lichtquelle 6 für Strahlen im
nahen Infrarot in dem Zustand des Bildes in Fig. 28
beleuchtet wird, in welchem die Augen nicht beobachtet
werden, infolge der Oberflächenreflexion der Gläser der
Brille g. Wie gezeigt werden infolge der Beleuchtung durch
die Lichtquelle 6 im nahen Infrarot die Augen deutlich
wahrgenommen.
Die Außenumgebung ist dunkel, wenn das Ergebnis N (nein) der
Abfrage im Schritt ST32 erhalten wird. In diesem Fall geht
der Betriebsablauf im Schritt ST41 über und führt eine
Beleuchtungssteuerung im dunklen Zustand durch.
Nach Erregung der Lichtquelle 6 für nahes Infrarot zur
Beseitigung des Einflusses der Reflexion durch die Brille g
kehrt die Hauptroutine zum Schritt ST10 zurück, und führt
nacheinander die voranstehend geschilderten Schritte durch.
Im Schritt ST31 ist beim zweiten Durchlauf das Resultat Y
(ja), da die Augen festgestellt werden, und daher geht es
nunmehr mit dem Schritt ST33 weiter.
Die folgenden Schritte ST33 bis ST35 sind eine Verarbeitung
zum Stoppen der erregten Lichtquelle 6 für nahes Infrarot.
Wenn die Augen nicht ermittelt werden können, wird im Schritt
ST40 die Lichtquelle 6 im nahen Infrarot erregt, wodurch die
Augen unabhängig von der Reflexion durch die Brille g erfaßt
werden können. Allerdings hält die Reflexion durch die Brille
g nicht über einen langen Zeitraum an und verschwindet nach
vergleichsweise kurzer Zeit entsprechend einer Änderung der
Umgebungssituation.
Demzufolge wird in den Schritten ST33 bis ST35 die
Beleuchtung mit den Infrarotstrahlen einmal gestoppt, nachdem
ein vorbestimmter Zeitraum abgelaufen ist, seit die
Lichtquelle 6 für Strahlen im nahen Infrarot erregt wurde,
und wenn die Augen im Schritt ST31 festgestellt werden, wird
bei einer darauffolgenden Verarbeitung ermittelt, daß die
Reflexion durch die Brille g weggefallen ist, und dann wird
der Zustand des Stoppens der Lichtquelle 6 für Strahlen im
nahen Infrarot beibehalten. Wenn die Augen nicht festgestellt
werden können, so wird festgestellt, daß die Reflexion durch
die Brille g andauert, und dann wird die Lichtquelle 6 für
Strahlen im nahen Infrarot erneut im Schritt ST40 bei der
darauffolgenden Verarbeitung erregt.
Wenn im Schritt ST31 bestätigt wird, daß die
Augenerfassungsmarke ON ist, dann wird im Schritt ST33
festgestellt, ob die Beleuchtung zur Ausschaltung der
Brillenreflexion durch die Lichtquelle 6 für Strahlen im
nahen Infrarot durchgeführt wird oder nicht. Wird die
Beleuchtung zur Ausschaltung von Brillenreflexionen
durchgeführt, so wird der abgelaufene Beleuchtungszeitraum im
Schritt ST34 untersucht, und wenn ein vorbestimmter Zeitraum
abgelaufen ist, wird im Schritt ST35 die Beleuchtung zur
Ausschaltung der Brillenreflexion einmal ausgeschaltet. Der
vorbestimmte Zeitraum kann mehrere Minuten oder weniger
betragen, unter Berücksichtigung des Zeitraums für das
Andauern der Reflexion infolge der Brille. Auf diese Weise
kann die Zeit der Benutzung der Lichtquelle 6 für Strahlen im
nahen Infrarot bei einer hellen Außenumgebung minimalisiert
werden.
Wenn wie voranstehend geschildert die Augen des Fahrers
festgestellt werden können, wird auf dieser Grundlage der
Zustand des Fahrers ermittelt.
Bei einer Blinzel-Erfassungsvorrichtung im Schritt ST50 wird
das Blinzeln des Fahrers p (der Fahrer blinzelt mit den
Augen) durch den Öffnungs-/Schließzustand des herausgezogenen
Auges e des Fahrers p festgestellt. Bei einer Einschlaf-
Ermittlungsvorrichtung in dem darauffolgenden Schritt ST60
wird das Einschlafen auf der Grundlage des Blinzelzustandes
festgestellt, und ein Alarm an den Fahrer p ausgesandt, um
ihn aufzuwecken, durch eine Alarmvorrichtung ST70
entsprechend dem Schlafzustand.
Nachstehend erfolgt eine Erläuterung der
Augenherausziehroutine der Augenherausziehvorrichtung im
Schritt ST30.
In Fig. 7 werden ein X-Achsen-Histogramm SUMX sowie ein Y-
Achsen-Histogramm SUMY des Bildes dadurch berechnet, daß ein
binärer Pegel des binären Bildes 201 jeweils in der X-
Achsenrichtung bzw. der Y-Achsenrichtung berechnet wird, wie
in Fig. 4 gezeigt, im Schritt ST301. Schwerpunktsorte XFC und
YFC des jeweiligen Histogramms SUMY bzw. SUMX werden
berechnet und als Flächenschwerpunktskoordinaten FC (XFC,
YFC) definiert, und ein Lichtkandidatenexistenzbereich 202
mit einer X-Achsenrichtungslänge ECAH und einer Y-
Achsenrichtungslänge ECAY wird eingestellt, wobei ein Punkt
PER gegenüber dem Flächenschwerpunkt FC um XECA in der X-
Achsenrichtung und YECA in der Y-Achsenrichtung als
Startpunkt im Schritt ST302 verschoben wird, und ein linker
Kandidatenexistenzbereich 202 mit denselben Abmessungen
entsprechend eingestellt wird, mit einem Punkt PEL als
Startpunkt.
Dann wird im Schritt ST303 ein Y-Achsen-Histogramm SUMY in
dem Kandidatenexistenzbereich 202 wie in Fig. 8 gezeigt
berechnet, und werden Bereiche, in denen jeweils SUMY größer
oder gleich einer vorbestimmten Schwelle SHL ist, werden als
Kandidatenbereichsbänder 203 festgelegt.
In Fig. 8 werden ein Bereichsband BER1 entsprechend einer
Augenbraue, ein Bereichsband BER2 entsprechend einem
Brillengestell, und ein Bereichsband BER3 entsprechend einem
Auge als die Kandidatenbereichsbänder 203 registriert. Zwar
ist nur ein Kandidatenexistenzbereich 202 in Fig. 8 gezeigt,
jedoch werden selbstverständlich die anderen
Kandidatenexistenzbereiche 202 auf entsprechende Weise
bearbeitet.
Weiterhin werden im Schritt ST304 X-Achsen-Histogramme SUMX
in den jeweiligen Kandidatenbereichsbändern 203 wie in Fig. 9
gezeigt berechnet, und werden Bereiche, in denen jeweils SUMX
entsprechend größer oder gleich einer vorbestimmten anderen
Schwelle SHL ist, als Kandidatenbereiche 204 eingestellt. In
Fig. 9 werden als die Kandidatenbereiche 204 ein Bereich
BER11 entsprechend der Augenbraue, ein Bereich BER21
entsprechend dem Brillengestell, und ein Bereich BER31
entsprechend dem Auge registriert. Im Schritt ST306 werden
ein Maximalwert SUMXMAX und eine Streuung einer Abweichung
von dem Maximalwert (SUMXMAX - SUMX) usw. aus dem X-Achsen-
Histogramm SUMX jedes der registrierten Kandidatenbereiche
204 berechnet, wodurch eine Augenbewertungsfunktion in bezug
auf jeden der Kandidatenbereiche 204 berechnet wird. Wie in
Fig. 9 gezeigt weist SUMX in dem Augenbereich solche
Eigenschaften auf, daß sowohl der Maximalwert als auch die
Streuung der Abweichung größer sind als die entsprechenden
Werte in den anderen Bereichen.
Als nächstes wird im Schritt ST307 einzeln nacheinander jeder
der Kandidatenbereiche 204 gelesen. Im Schritt ST308 wird
bestimmt, ob die Bewertungsfunktion in einem vorbestimmten
Bereich liegt, in welchem sie das Auge zeigt. Wenn einer der
Kandidatenbereiche 204 nicht als das Auge festgestellt wird,
wird der Kandidatenbereich 204 im Schritt ST309 inkrementiert
(schrittweise erhöht), und wird ein entsprechender Vorgang in
bezug auf die darauffolgenden Kandidatenbereiche
durchgeführt. Wenn im Schritt ST307 kein zu beurteilender
Kandidatenbereich 204 vorhanden ist, wird im Schritt ST312
die Augenerfassungsmarke ausgeschaltet (OFF), und die
Verarbeitung zur Rückkehr zur Hauptroutine veranlaßt. Wenn es
Kandidatenbereiche 204 gibt, die im Schritt ST308 als das
Auge erkannt werden, so wird im Schritt ST310 der niedrigste
der Kandidatenbereiche 204, die als dem Auge entsprechend
ermittelt wurden, als dem Auge entsprechend identifiziert,
und wird die Augenherausziehroutine dadurch beendet, daß im
Schritt ST311 die Augenerfassungmarke eingeschaltet (ON)
wird.
Wie voranstehend geschildert können bei dieser
Ausführungsform die Augen einfach selbst dann beobachtet
werden, wenn die Außenumgebung oder dergleichen von der
Brille g reflektiert wird, die von dem Benutzer p getragen
wird.
Weiterhin ist es nicht erforderlich, die Lichtquelle 6 im
nahen Infrarot in einem Fall zu benutzen, in welchem die
Außenumgebung nicht von der Brille g reflektiert wird, und
daher stellt die Erfindung in der Hinsicht einen Vorteil zur
Verfügung, daß die Zeit der Benutzung der Lichtquelle 6 für
Strahlen im nahen Infrarot soweit wie möglich begrenzt wird,
wodurch der stündliche mittlere Energieverbrauch verringert
wird, und die Lebensdauer der Lichtquelle 6 im nahen Infrarot
verlängert wird.
Obwohl im Falle der voranstehend geschilderten
Ausführungsform 1 der Beleuchtungssensor 7 als die
Helligkeits/Dunkelheits-Erfassungsvorrichtung verwendet wird
ist es möglich, die Helligkeit/Dunkelheit ohne Verwendung des
Beleuchtungssensors 7 zu bestimmen. Es ist nämlich möglich,
ein Verfahren zur Bestimmung der Helligkeit/Dunkelheit aus
der Helligkeit in der Nähe des Fahrers p einzusetzen, ohne
den Helligkeits/Dunkelheitszustand der Außenumgebung zu
verwenden, also mit anderen Worten möglich, einen Wert
entsprechend der Helligkeit des Gesichtsbildes des Fahrers p
zu verwenden.
Fig. 10 ist ein Blockschaltbild einer
Bildsignalbearbeitungsschaltung 2, und Fig. 11 ist ein
Diagramm der Regelcharakteristik einer automatischen
Verstärkungsregelschaltung (AGC).
Zuerst erfolgt eine Erläuterung des Betriebsablaufs der
Bildsignalbearbeitungsschaltung 2.
In Fig. 10 steuert eine CCD-Steuerschaltung 20
Fotoaufnahmezeitpunkte der CCD 1 und eine Bildspeicherzeit
(nachstehend als Verschlußzeit bezeichnet), und gibt das
fotografierte Bild als ein Bildsignal VOUT aus. Eine AGC-
Regelschaltung 22 berechnet die mittlere Bildhelligkeit L
durch Integrieren eines Ausgangssignals eines Verstärkers 21
mit einstellbarer Verstärkung, und regelt die Verstärkung des
Verstärkers 21 mit einstellbarer Verstärkung so, daß eine
AGC-Regelspannung VAGC gleich einer vorbestimmten Soll-
Regelspannung wird, durch Rückkoppeln der AGC-Regelspannung
VAGC entsprechend der mittleren Bildhelligkeit L gemäß Fig.
11 an den Verstärker 21 mit einstellbarer Verstärkung. Das
Helligkeitssignal VOUT in einem Fall, in welchem die mittlere
Bilddichte durch den Verstärker 21 mit einstellbarer
Verstärkung gesteuert wird, wird in den A/D-Wandler 11 der
Gesichtsbildbearbeitungseinheit b eingegeben und in ein
digitales Gradationsbild umgewandelt.
Die AGC-Regelspannung VAGC wird mit einer Spannung V1
entsprechend einer minimalen Helligkeit L1 und einer Spannung
Vh entsprechend einer maximalen Helligkeit Lh verglichen, die
in Fig. 11 gezeigt sind, in Vergleichsschaltungen 25 und 26,
und das jeweilige Vergleichsergebnis wird in eine
elektronische Verschlußsteuerschaltung 27 eingegeben. Wenn
die mittlere Bildhelligkeit L des Gesichtsbildes des Fahrers
p sich ändert und den Regelbereich V1 bis Vh überschreitet,
der durch die AGC-Regelschaltung 22 vorgegeben ist, wenn der
Helligkeitszustand der Außenumgebung in bezug auf das
Fahrzeug sich ändert, beispielsweise die Höhe und Richtung
der Sonne, das Wetter, das Vorhandensein oder die Abwesenheit
von Schatten oder dergleichen, und beispielsweise die
Helligkeit L niedriger ist als die minimale Helligkeit L1, so
erhöht die elektronische Verschlußsteuerschaltung 27 die
Verschlußzeit um einen Schritt, und im Gegensatz hierzu wird,
wenn die Helligkeit höher ist als die maximale Helligkeit Lh,
die Verschlußzeit um einen Schritt verringert. Hierdurch wird
die Verschlußzeit der CCD1 in der CCD-Regelschaltung 20 in
mehreren Schritten von 1/60 auf 1/10000 Sekunde gesteuert, so
daß die AGC-Regelung immer vorhanden ist, also die AGC-
Regelspannung VAGC in dem Bereich von V1 bis Vh liegt, und
der momentane Verschlußschritt wird an die Eingangs-I/F 10
der Gesichtsbildbearbeitungseinheit b als ein Verschlußsignal
SS geschickt.
Weiterhin wird die AGC-Regelpannung VAGC entsprechend der
mittleren Bildhelligkeit L an den A/D-Wandler 11 als ein
Spannungssignal VAGC über eine Verstärkungsschaltung 23 und
einen Puffer 24 geschickt.
Zwar erfolgte bei der Ausführungsform 1 insoweit keine
detaillierte Beschreibung, jedoch wird die
Beleuchtungssteuerung wie nachstehend erläutert durchgeführt,
wenn sich die Außenumgebung in dem dunklen Zustand befindet.
In Fig. 1 liest die CPU 15 das Helligkeits-/Dunkelheitssignal
des Beleuchtungssensors 7 von der Eingangs-I/F 10 und das
Verschlußsignal SS von der elektronischen
Verschlußsteuerschaltung 27, und liest die AGC-Regelspannung
VAGC entsprechen der mittleren Bildhelligkeit von dem A/D-
Wandler 11, berechnet eine vorbestimmte Lichtaussendemenge
auf solche Weise, daß die AGC-Regelung in dem Regelbereich
bleibt, wenn die Verschlußzeit immer 1/60 Sekunde beträgt, in
einem Fall, wenn festgestellt wird, daß sich die
Außenumgebung in dem dunklen Zustand befindet, auf Grundlage
des Helligkeits-/Dunkelheitssignals, und schaltet die
Lichtquelle 6 im nahen Infrarot dadurch ein, daß das
Beleuchtungssteuersignal von der Ausgangs-I/F 14 an die
Beleuchtungssteuerschaltung 5 geschickt wird.
Wenn dagegen auf Grundlage des Helligkeits/Dunkelheitssignals
festgestellt wird, daß sich die Außenumgebung in dem dunklen
Zustand befindet, so wird, obwohl dies nicht gezeigt ist, ein
Steuersignal von der CPU 15 an die elektronische
Verschlußsteuerschaltung 27 geschickt, über die Ausgangs-I/F
14, und die Lichtquelle 6 für Strahlen im nahen Infrarot
eingeschaltet, nachdem die Verschlußzeit auf 1/60 Sekunden
festgelegt wurde, was vorzuziehen ist.
Nunmehr wird die Bildsignalbearbeitungsschaltung 2 wie
voranstehend geschildert betrieben, und daher wird der
Beleuchtungssensor 7 unter Verwendung des voranstehend
geschilderten Betriebsablaufs weggelassen.
Wenn beispielsweise die Verschlußgeschwindigkeit den
Maximalwert von 1/60 Sekunde annimmt, kann der Wert der AGC-
Regelspannung VAGC nicht auf den Regelspannungssollwert der
AGC-Regelspannung geregelt werden, und wird die Abweichung
vergrößert, so daß es sich um einen Zustand handelt, in
welchem die Bildspeicherzeit zum Empfang von Licht maximiert
ist, und der Regelspannungssollwert nicht erreicht werden
kann, selbst wenn das bereitgestellte Bildsignal maximal
verstärkt wird. Daher kann in diesem Fall die Außenumgebung
als im dunklen Zustand befindlich ermittelt werden.
Darüber hinaus kann die Bestimmung des hellen Zustands der
Außenumgebung durchgeführt werden, wenn die
Verschlußgeschwindigkeit kürzer als 1/60 Sekunde ist. Es
handelt sich daher um einen Zustand, in welchem die AGC-
Regelspannung VAGC an den Regelspannungssollwert angeglichen
werden kann, selbst wenn die Bildspeicherzeit kürzer als 1/60
Sekunde ist, und daher kann die Außenumgebung als ausreichend
hell angesehen werden.
Als weiteres Verfahren zur Ermittlung des hellen Zustands
kann ein Zustand, in welchem die Verschlußgeschwindigkeit
1/60 Sekunde beträgt, und die Lichtquelle 6 für Strahlen im
nahen Infrarot nicht eingeschaltet ist, als der helle Zustand
ermittelt werden.
Daher wird die Lichtquelle 6 für nahes Infrarot zum Aussenden
einer frei wählbaren Lichtmenge veranlaßt, wenn die
Verschlußgeschwindigkeit 1/60 Sekunde beträgt und die AGC-
Regelspannung VAGC nicht den Regelspannungssollwert erreicht.
Wie voranstehend geschildert ist jedoch der Zustand, in
welchem die Verschlußgeschwindigkeit 1/60 Sekunde beträgt und
die Lichtquelle 6 für nahes Infrarot nicht eingeschaltet ist,
ein Zustand, in welchem die AGC-Regelspannung VAGC an den
Spannungssollwert herangeführt werden kann, selbst wenn die
Lichtquelle 6 für Strahlen in nahem Infrarot nicht
eingeschaltet ist, und daher kann die Außenumgebung so
beurteilt werden, daß sie sich im ausreichend hellen Zustand
befindet.
Daher wird auch an der Ausführungsform 2 ein ähnlicher Effekt
wie bei der Ausführungsform 1 zur Verfügung gestellt, und ist
kein spezieller Sensor wie der Beleuchtungssensor 7 zur
Ermittlung der Helligkeit erforderlich.
Die Ausführungsform 3 betrifft eine
Gesichtsbildaufnahmevorrichtung, welche den durch die
Reflexion infolge einer Brille eines Fahrers hervorgerufenen
Einfluß entfernt, wodurch eine vereinfachte
Gesichtsbildaufnahmevorrichtung ohne eine
Helligkeits/Dunkelheits-Erfassungsvorrichtung zur Verfügung
gestellt wird.
Bei der Ausführungsform 3 wird daher keine
Helligkeits/Dunkelheits-Erfassungsvorrichtung verwendet, und
wenn im Schritt ST31 in Fig. 2 keine Augen festgestellt
werden, wird die Lichtquelle 6 für nahes Infrarot
eingeschaltet, während der Schritt ST32 weggelassen wird.
Dies führt dazu, daß die Strahlen im nahen Infrarot immer
ausgestrahlt werden, wenn die Augen eines Fahrers nicht
festgestellt werden können, unabhängig vom Zustand der
Außenumgebung.
Bei den voranstehend geschilderten Ausführungsformen wird die
Lichtquelle 6 für Strahlen im nahen Infrarot insoweit erregt,
als die Augen eines Fahrers nicht im hellen Zustand bei
Tageslicht erfaßt werden können, und eine derartige Steuerung
wird nicht im dunklen Zustand wie beispielsweise bei Nacht
durchgeführt. Allerdings wird bei der Ausführungsform 3 eine
entsprechende Steuerung auch im dunklen Zustand wie
beispielsweise bei Nacht durchgeführt.
Anders ausgedrückt wird bei den voranstehend geschilderten
Ausführungsformen der Helligkeits-/Dunkelheitszustand erfaßt,
und daher wird in einem Fall, in welchem ein Fahrer bei
Dunkelheit zur Seite sieht, der Strahl im nahen Infrarot
nicht auf den Fahrer aufgestrahlt, um den Einfluß der
Reflexion durch die Brillengläser auszuschalten. Im Gegensatz
hierzu gibt es bei der Ausführungsform 3 in der Hinsicht
Schwierigkeiten, daß der Strahl im nahen Infrarot
ausgestrahlt wird, wenn die Augen nicht festgestellt werden,
selbst im Zustand der Dunkelheit, ohne Berücksichtigung der
Reflexion durch die Brillengläser.
Jedoch kann die Vorrichtung verkleinert, vereinfacht und
kostengünstiger ausgebildet werden, infolge der voranstehend
geschilderten Konstruktion.
Daher ist es gemäß der Ausführungsform 3 möglich, eine
vereinfachte Gesichtsbildaufnahmevorrichtung zur Verfügung zu
stellen, welche keinen Einflüssen der Reflexion durch die
Brillengläser unterliegt.
Ausführungsform 4 ist ein abgeändertes Beispiel der
Ausführungsform 1, wobei die Strahlen im nahen Infrarot auf
das Gesicht eines Fahrers ausgestrahlt werden, wenn die Augen
nicht festgestellt werden können, und das Brillengestell
erfaßt wird, durch Ermittlung, daß es sich um einen Zustand
handelt, in welchem die Augen infolge der
Oberflächenreflexion durch die Brillengläser nicht erfaßt
werden können.
Fig. 12 und Fig. 13 zeigen die Ausführungsform 4 der
vorliegenden Erfindung, wobei Fig. 12 ein Flußdiagramm zur
Erfassung des Zustands eines Fahrers bei der Ausführungsform
4 ist, und Fig. 13 ein Flußdiagramm bezüglich der Erfassung
einer Brille. Unter Bezugnahme auf die Fig. 12 und 13 sowie
auf die Fig. 1 und 9 erfolgt nachstehend eine Erläuterung
dieser Ausführungsform.
In Fig. 12 bestimmt nach Durchführung des Betriebsablaufs vom
Schritt ST10 bis zu der Augenherausziehvorrichtung des
Schrittes ST30 in einer Brillenerfassungsvorrichtung des
Schrittes ST80 der Betriebsablauf, ob der Fahrer p die Brille
g trägt.
Später erfolgt eine detaillierte Beschreibung eines
Verfahrens zur Erfassung einer Brille durch die
Brillenerfassungsvorrichtung unter Verwendung eines
Flußdiagramms.
Als nächstes wird im Schritt ST31 die Augenerfassungsmarke
untersucht. Ist die Augenerfassungsmarke ausgeschaltet (OFF),
so wird daraufhin im Schritt ST81 eine Brillenerfassungsmarke
untersucht. Wenn die Brillenerfassungsmarke eingeschaltet
(ON) ist, trägt der Fahrer eine Brille, und können die Augen
nicht festgestellt werden. Wenn festgestellt wird, daß die
Ursache dafür, daß die Augen nicht herausgezogen werden, die
Oberflächenreflexion infolge der Brillengläser ist, wird im
Schritt ST40 das Beleuchtungssteuersignal zum Entfernen der
Brillenreflexion von der Ausgangs-I/F 14 an die
Beleuchtungssteuerschaltung 5 geschickt, wodurch die
Lichtquelle 6 für Strahlen im nahen Infrarot eingeschaltet
wird.
Weiterhin werden in einem Fall, in welchem die
Augenerfassungsmarke im Schritt ST31 eingeschaltet (ON) ist,
die Schritte 33 bis 70 wie bei der Ausführungsform 1
durchgeführt.
Nunmehr erfolgt eine Erläuterung des Betriebsablaufs der
Brillenerfassungsvorrichtung.
Bei der Erfassung der Brille wird zuerst im Schritt ST801 von
Fig. 13 eine Brillengestellbewertungsfunktion berechnet,
unter Verwendung der X-Achsen-Histogramme SUMX der
Kandidatenbereiche 204 bei der voranstehend geschilderten
Ausführungsform 1. Wie aus Fig. 9 hervorgeht, zeigt SUMX des
Brillengestells eine im wesentlichen flache Charakteristik
wie bei der Augenbraue, und daher ist die Streuung der
Abweichung (SUMXMAX - SUMX) erheblich kleiner als jene der
Augen. Weiterhin ist eine Breite EAW des Kandidatenbereiches
entsprechend dem Brillengestell normalerweise etwas länger
als jene der Augenbraue. Die Brillengestellbewertungsfunktion
wird unter Berücksichtigung dieser Eigenschaften bestimmt.
Dann bestimmt im Schritt ST802 der Betriebsablauf, ob es
Kandidatenbereiche 204 über jenen hinaus gibt, der als
entsprechend dem Auge ermittelt wurde, im Schritt ST30. Wenn
es Kandidatenbereiche 204 gibt, so bestimmt der
Betriebsablauf, ob jeder der Kandidatenbereiche 204 dem
Brillengestell entspricht, auf der Grundlage der
Brillengestellbewertungsfunktion im Schritt ST803. Wenn der
Betriebsablauf feststellt, daß keine Entsprechung zum
Brillengestell vorhanden ist, erhöht der Betriebsablauf den
Kandidatenbereich 204 im Schritt ST804 und führt einen
entsprechenden Betriebsablauf in bezug auf den nächsten der
Kandidatenbereiche durch. Wenn im Schritt ST802 kein
Kandidatenbereich 204 zu bestimmen ist, schaltet der
Betriebsablauf die Brillenerfassungsmarke im Schritt ST809
aus (OFF), und der Betriebsablauf kehrt zur Hauptroutine
zurück.
Als nächstes untersucht im Schritt ST805 der Betriebsablauf
die Anzahl der Kandidatenbereiche 204, die als solche
bestimmt wurden, welche den Brillengestellen in den linken
und rechten Kandidatenexistenzbereichen 202 im Schritt ST802
entsprechen. Ist die Anzahl 2 oder mehr für jeden der linken
und rechten Kandidatenexistenzbereiche, so schaltet der
Betriebsablauf die Brillenerfassungsmarke im Schritt ST808
ein (ON), durch Bestimmung, daß eines der beiden ermittelten
Brillengestelle das wahre Brillengestell ist. Ist die Anzahl
der Kandidatenbereiche, die als entsprechend dem
Brillengestell in jedem der Kandidatenexistenzbereiche 202
festgestellt wurden, 1 oder weniger, so berechnet der
Betriebsablauf die Augenbrauenbewertungsfunktion unter
Verwendung des voranstehend geschilderten Wertes SUMX und des
voranstehend erwähnten Wertes EAW und dergleichen des
Kandidatenbereiches 204 im Schritt ST806. Im Schritt ST807
ermittelt der Betriebsablauf, ob die
Augenbrauenbewertungsfunktion des Kandidatenbereiches 204 in
einem vorbestimmten Bereich liegt, schaltet im Schritt ST808
die Brillenerfassungsmarke ein (ON) auf entsprechende Weise
nur in einem Fall, in welchem die
Augenbrauenbewertungsfunktion nicht im vorbestimmten Bereich
liegt, und wenn sie in dem vorbestimmten Bereich liegt, so
schaltet der Betriebsablauf die Brillenerfassungsmarke im
Schritt ST809 aus (OFF), da die Möglichkeit besteht, daß der
Kandidatenbereich der Augenbraue entspricht, und dann kehrt
die Verarbeitung zur Hauptroutine zurück.
Auf diese Art und Weise ist es möglich zu bestimmen, ob der
Fahrer eine Brille trägt oder nicht.
Daher werden bei dieser Ausführungsform ähnliche Effekte wie
bei der Ausführungsform 1 erzielt. Durch Erkennen des
Vorhandenseins der Brille ist es darüber hinaus möglich, die
Lichtquelle 6 im nahen Infrarot ordnungsgemäß einzuschalten,
so daß die Augen in dem Bild auch in dem Fall festgestellt
werden können, in welchem infolge der Reflexion durch die
Brillengläser die Augen als nicht erkennbar angesehen werden,
wodurch die Augen deutlich erfaßt werden können, und der
mittlere stündliche Energieverbrauch verringert werden kann.
Konventionellerweise wurde eine Beleuchtungsvorrichtung für
Strahlen im nahen Infrarot für einen dunklen Zustand zur
Verfügung gestellt, um eine fehlende Beleuchtung in einem
Fall auszugleichen, in welchem die Außenumgebung dunkel war.
Im Gegensatz hierzu ist bei den voranstehend geschilderten
Ausführungsformen die Lichtquelle 6 für Strahlen im nahen
Infrarot dazu vorgesehen, den Einfluß der Reflexion durch
Brillengläser auszuschalten, um die Augen eines Fahrers
deutlich zu erfassen. Die Lichtquelle 6 für Strahlen im nahen
Infrarot wird nicht nur als die Beleuchtungsvorrichtung für
Strahlen im nahen Infrarot zum Entfernen des Einflusses der
Reflexion durch Brillengläser verwendet, sondern auch als die
Beleuchtungsvorrichtung für Strahlen im nahen Infrarot für
einen dunklen Zustand, durch Änderung des Steuerprogramms der
Beleuchtungssteuerschaltung 5.
Es gibt allerdings einen beträchtlichen Unterschied zwischen
der ausgesendeten Lichtmenge eines Infrarotstrahls zum
Herausziehen von Augen aus einem Bild eines Gesichts in
dunklem Zustand und der Menge ausgesandten Lichts eines
Infrarotstrahls zum Entfernen des Einflusses der Reflexion
durch eine Brille bei Tageslicht. Wenn daher beide Funktionen
bereitgestellt werden, wird Energie verschwendet, da in dem
dunklen Zustand ein Lichtstrahl ausgesandt wird, dessen
ausgesandte Lichtmenge größer ist als erforderlich.
Daher wird bei der Ausführungsform 5 der mittlere stündliche
Energieverbrauch dadurch verringert, daß die beiden
Funktionen getrennt ausgebildet sind.
Die Fig. 14 und 15 zeigen die Ausführungsform 5, wobei Fig.
14 eine schematische Ansicht einer Erfassungsvorrichtung für
den Zustand eines Fahrers ist, welche eine
Gesichtsbildaufnahmevorrichtung aufweist, und Fig. 15 ein
Beispiel für das Bild eines Gesichts in dunklem Zustand
zeigt.
In Fig. 14 bezeichnet das Bezugszeichen 8 eine koaxiale
Lichtquelle für Strahlen im nahen Infrarot, die in der Nähe
der Kameraeinheit c angeordnet ist, so daß eine optische
Achse eines ausgestrahlten Strahls im nahen Infrarot
annähernd parallel zur optischen Achse für Fotoaufnahmen der
Kameraeinheit und in deren Nähe angeordnet ist. Bei diesem
Beispiel ist ein Fall gezeigt, in welchem eine LED, die Licht
im nahen Infrarot aussendet, eine Lichtgesamtausgangsleistung
von etwa 10 mW oder weniger sowie eine Zentrumswellenlänge
von etwa 900 nm aufweist, verwendet wird. Das Bezugszeichen 9
bezeichnet eine LED-Steuerschaltung, welcher das
Verschlußsignal SS und die AGC-Regelspannung VAGC der
Bildsignalbearbeitungsschaltung 2 wie in Fig. 10 gezeigt
zugeführt werden. Das Verschlußsignal SS wird der Eingangs-
I/F 10 zugeführt, das Ausgangsbildsignal VOUT und die AGC-
Regelspannung VAGC werden dem A/D-Wandler 11 zugeführt, und
der Beleuchtungssensor 7 wird nicht verwendet.
Nachstehend erfolgt eine Erläuterung des Betriebsablaufs.
Wenn die Außenumgebung dunkel wird, und sich die Helligkeit
verringert, welcher der Benutzer p ausgesetzt ist, werden die
AGC-Regelschaltung 22 und die elektronische
Verschlußsteuerschaltung 27 in Fig. 10 in Betrieb gesetzt,
und wird die Verschlußzeit verlängert. Wenn die Verschlußzeit
den Wert von 1/60 Sekunde annimmt, und die AGC-Regelspannung
kleiner oder gleich einem vorbestimmten Wert ist, schaltet
die LED-Steuerschaltung 9 die LED 8 für Strahlen im nahen
Infrarot durch Ermittlung des Dunkelzustands ein. Die
optische Ausstrahlungsachse der LED 8 für Strahlen im nahen
Infrarot verläuft annähernd koaxial zur optischen Achse für
Fotoaufnahmen der Kameraeinheit c, und daher ist es möglich,
deutlich nur Pupillen des Fahrers p aufzunehmen, wie in Fig.
15 gezeigt. Die Pupillen weisen die Eigenschaft auf, daß sie
einfallendes Licht praktisch in dieselbe Richtung
zurückreflektieren, und daher ist ihre Helligkeit in einem
koaxialen Beleuchtungszustand deutlich größer als jene
anderer Abschnitte eines Gesichts, und daher werden nur die
Pupillen deutlich wahrnehmbar fotografiert, wie in Fig. 15
gezeigt ist, selbst unter Einsatz der LED 8 für Strahlen im
nahen Infrarot, deren Strahl so schwach ist, daß die Merkmale
eines Gesichts nicht als Bild fotografiert werden können.
Hierbei wird die mittlere Helligkeit überhaupt nicht erhöht,
da die Helligkeit in dem Bild nur an den Pupillen erhöht ist,
deren Abmessungen maximal 7 bis 8 mm betragen. Obwohl nicht
gezeigt werden in einem derartigen, dunklen Zustand nur die
beiden Pupillen des Fahrers p in binäre Werte als Weißpegel
im Schritt ST20 der Hauptroutine umgewandelt. Daher läßt die
CPU den Schritt ST21 in Fig. 2 weg und empfängt das binäre
Bild des Bildspeichers 13, erfaßt das Pupillenpaar auf der
Grundlage eines Algorithmus, der sich von jenem in dem hellen
Zustand unterscheidet, und auf der Grundlage der
Bewertungsfunktion in der Augenherausziehvorrichtung des
Schrittes ST30, und erfaßt ein Blinzeln, da beim Blinzeln die
Pupillen durch die Augenlider verdeckt werden, und so kann
auf entsprechende Weise festgestellt werden, ob der Fahrer
einzuschlafen droht.
Bei dieser Ausführungsform wird, wie bei den voranstehend
geschilderten Ausführungsformen, der helle Zustand in einem
Fall bestimmt, in welchem die Verschlußgeschwindigkeit 1/60
Sekunde oder weniger beträgt, oder in einem Fall, in welchem
die Verschlußgeschwindigkeit 1/60 Sekunde beträgt und die
AGC-Regelspannung VAGC größer oder gleich dem vorbestimmten
Wert ist.
Weiterhin wird in einem Fall, in welchem die Augen in dem
Bild im hellen Zustand nicht festgestellt werden, die
Lichtquelle 6 für Strahlen im nahen Infrarot ebenso wie bei
der Ausführungsform 1 eingeschaltet. Dagegen wird in einem
Fall, in welchem die Brille festgestellt wird, und die Augen
in dem Bild in dem hellen Zustand nicht erfaßt werden, die
Lichtquelle 6 für Strahlen im nahen Infrarot wie bei der
Ausführungsform 4 eingeschaltet.
Daher wird bei der Ausführungsform 5 ein ähnlicher Effekt wie
bei den voranstehend geschilderten Ausführungsformen erzielt,
und ist es möglich, den stündlichen mittleren
Energieverbrauch der gesamten Fotoaufnahmevorrichtung dadurch
weiter zu verringern, daß die LED 8 für Strahlen im nahen
Infrarot, welche einen niedrigen Energieverbrauch aufweist
und normalerweise in dem dunklen Zustand verwendet wird, von
der Lichtquelle 6 für Strahlen im nahen Infrarot zum
Entfernen des Einflusses der Reflexion durch Brillengläser
getrennt wird, und kann darüber hinaus der Lichtquelle 6 für
Strahlen im nahen Infrarot eine lange Lebensdauer gegeben
werden, durch Begrenzung der Benutzung der Lichtquelle 6 für
Strahlen im nahen Infrarot.
Weiterhin werden bei der Ausführungsform 5 die Pupillen des
Fahrers p durch die LED 8 für Strahlen im nahen Infrarot in
dem dunklen Zustand fotografiert. Allerdings können die
Pupillen auch unter Verwendung einer anderen
Infrarotstrahllichtquelle fotografiert werden, die in der
Nähe der Kameraeinheit c angeordnet ist, wobei deren optische
Abstrahlachse annähernd parallel zur optischen Achse für
Fotoaufnahmen der Kameraeinheit c und in deren Nähe verläuft.
Bei der Ausführungsform 6 ist ein optisches Filter auf der
optischen Achse einer Kamera angeordnet, wodurch Augen
deutlich erfaßt werden können, selbst wenn durch
Brillengläser eine Reflexion hervorgerufen wird.
Die Fig. 16 bis 19 zeigen die Ausführungsform 6, wobei Fig.
16 eine schematische Ansicht einer
Fahrerzustanderfassungsvorrichtung mit einer
Gesichtsbildaufnahmevorrichtung gemäß Ausführungsform 6 ist,
Fig. 17 eine perspektivische Außenansicht einer
Bildaufnahmeeinheit a, Fig. 18 eine Schnittansicht der
Bildaufnahmeeinheit a, und Fig. 19 ein Diagramm der
spektroskopischen Transmissionseigenschaften eines
zusammengesetzten optischen Filters zeigt.
In den Fig. 16 bis 19 bezeichnen die Bezugsziffern 41 und 42
optische Filter, die einander überlappend auf der optischen
Achse für Fotoaufnahmen der Kameraeinheit c vor der
Bildaufnahmelinse 3 angeordnet sind, das Bezugszeichen 50
bezeichnet ein Gehäuse, welches die CCD 1 haltert, die
Bildaufnahmelinse 3, die optischen Filter 41 und 42 und so
weiter, und weiterhin ist auch die LED 8 für Strahlen im
nahen Infrarot in dem Gehäuse gehaltert. Das Bezugszeichen 51
bezeichnet Platinen mit gedruckten Schaltungen, in welchen
die CCD 1, die Bildsignalbearbeitungsschaltung 2 und die LED-
Steuerschaltung 9 angeordnet sind, und das Bezugszeichen 52
bezeichnet eine Ausgangsleitung der Bildaufnahmeeinheit a. In
bezug auf die LEDs 8 für Strahlen im nahen Infrarot werden
LEDs mit einer Zentrumswellenlänge von annähernd 900 nm wie
bei der Ausführungsform 5 symmetrisch an vier Orten auf der
Rückseite der optischen Filter vorgesehen, so daß die LEDs in
der Nähe einer Öffnung 31 der Linse liegen, wie in Fig. 17
gezeigt, in welcher die optische Achse für Fotoaufnahmen der
Kameraeinheit c annähernd parallel zu den optischen
Abstrahlungsachsen des Strahls im nahen Infrarot verläuft.
Allerdings können die LEDs 8 für nahes Infrarot auch anders
als in Fig. 17 angeordnet werden, nämlich so, daß dazwischen
kein optisches Filter 41 vorgesehen ist.
Nunmehr erfolgt eine Erläuterung der optischen Filter.
Wie in Fig. 19 gezeigt ist das optische Filter 41 ein
Langwellen-Durchlaßfilter (LPF), wie in der Figur durch eine
gestrichelte Linie angedeutet ist. Hierbei ist ein Beispiel
gezeigt, bei welchem ein LPF mit einer Wellenlänge von
annähernd 500 nm bei einem Durchlaßvermögen von 50% verwendet
wird, durch welches Licht mit einer Wellenlänge von 500 nm
oder mehr einschließlich sichtbaren Lichts und Infrarotlichts
durchgelassen wird. Das optische Filter 42 ist ein
Bandsperrfilter (BRF). Als Beispiel ist hier ein BRF gezeigt,
welches Wellenlängen von 650 nm und 850 nm bei einem
Transmissionsvermögen von 50% aufweist, und ein
Wellenlängenband von 650 bis 850 nm entfernt, das zwischen
dem sichtbaren Licht und dem nahen Infrarot liegt. Das BRF42
verwendet ein dielektrisches Mehrschichtfilter, bei welchem
dielektrische Filme in mehreren Schichten auf ein
transparentes optisches Substrat auflaminiert sind, das aus
Glas, Kunststoff oder dergleichen besteht. Das LPF 41
verwendet ein ähnliches dielektrisches Mehrlagenfilter oder
ein kostengünstiges Filter des Absorptionstyps, bei welchem
Färbemittel in das voranstehend erwähnte, transparente
optische Substrat eindiffundiert wurden.
LPF 41 und BRF 42 überlappen einander wie in Fig. 18 gezeigt,
und bilden ein zusammengesetztes optisches Filter 43, welches
hohe Werte für das spektroskopische Transmissionsvermögen in
der Mitte eines Medianwertes des Wellenlängenbandes von
annähernd 400 bis 700 nm aufweist, wobei das
Transmissionsvermögen einer Beschichtung von Brillengläsern
hoch ist, und in der Umgebung der Zentrumswellenlänge der LED
8 für Strahlen im nahen Infrarot, die beim Fotografieren im
dunklen Zustand verwendet wird.
Daher ist das zusammengesetzte optische Filter 43 mit zwei
Durchlaßbändern versehen, wobei ein erstes Durchlaßband den
Bereich von 400 bis 700 nm abdeckt, und ein zweites
Durchlaßband den Bereich von 850 nm oder mehr.
Unter Verwendung des voranstehend geschilderten,
zusammengesetzten optischen Filters 43 werden die Pupillen
des Fahrers p dadurch fotografiert, daß die LEDs 8 für
Infrarotstrahlen in dem dunklen Zustand wie bei der
Ausführungsform eingeschaltet werden, unter Verwendung ihres
hohen spektroskopischen Transmissionsvermögens in der
Umgebung der Zentrumswellenlänge der LEDs 8 für Strahlen im
nahen Infrarot, wodurch der Zustand des Fahrers erfaßt wird,
nämlich ein drohendes Einschlafen.
Weiterhin wird in dem hellen Zustand das Bild des Gesichts
des Fahrers p durch die voranstehend geschilderten zwei
Komponenten der Wellenlängenbereiche bei Außenlicht
aufgenommen, unter Verwendung des hohen spektroskopischen
Transmissionsvermögens in den Bereichen der Wellenlänge von
500 bis 650 nm und 850 nm und mehr.
In Fällen, in welchen das konventionelle Filter 4 zum
Abschneiden sichtbaren Lichts verwendet wird, ist das
spektroskopische Reflexionsvermögen der Brillengläser in dem
Lichtentfernungsbereich des Filters 4 gering, und im
Gegensatz hierzu ist das spektroskopische Reflexionsvermögen
der Brillengläser in den Durchlaßbereichen des Filters 4
hoch. Daher ist der Wert von K, der die Sichtbarkeit des
Auges anzeigt, klein, und können die Augen überhaupt nicht
fotografiert werden, wie in Fig. 28 gezeigt ist.
Im Gegensatz hierzu ist das zusammengesetzte optische Filter
43 bei der vorliegenden Ausführungsform mit einem hohen
Transmissionsvermögen in einem Bereich versehen, in welchem
das spektroskopische Reflexionsvermögen des Lichts mit
sichtbaren Wellenlängen der Brillengläser niedrig ist, und
daher wird der diffuse, reflektierte Lichtfluß ΦT von den
Augen im Bereich des sichtbaren Lichts wirksam von der CCD 1
empfangen, und das voranstehend geschilderte Verhältnis K
vergrößert, wodurch die Augen deutlich wahrnehmbar
fotografiert werden können, wie in Fig. 6 gezeigt.
Daher weist die vorliegende Ausführungsform in der Hinsicht
einen Vorteil auf, daß die Augen deutlich wahrnehmbar
fotografiert werden können, ohne daß eine spezielle
Beleuchtung zum Entfernen der Reflexion verwendet wird,
selbst wenn die Oberflächenreflexion durch die Brillengläser
auftritt, durch Aufnahme eines Bildes des Gesichts des
Fahrers p, der die Brille g trägt, durch die Komponenten der
Transmissionwellenlängenbänder des sichtbaren Lichts des
Sonnenlichts und die Strahlen im nahen Infrarot in dem hellen
Zustand, unter Verwendung des zusammengesetzten optischen
Filters 43, welches Durchlaßbänder sowohl in dem
Wellenlängenbereich des sichtbaren Lichts aufweist, in
welchem das Transmissionsvermögen der Brillengläser hoch ist,
als auch in dem Wellenlängenbereich im nahen Infrarot
entsprechend der Beleuchtung mit Strahlen im nahen Infrarot
zur Aufnahme des Bildes des Fahrers p in dem dunklen Zustand.
Ausführungsform 7 ist ein abgeändertes Beispiel für die
Ausführungsform 6, in welchem ein deutlicheres Bild eines
Gesichts zur Verfügung gestellt wird, verglichen mit der
Ausführungsform 6.
Fig. 20 zeigt ein Diagramm des spektroskopischen
Transmissionscharakteristik eines zusammengesetzten Filters
45 bei der Ausführungsform 7. Dem zusammengesetzten optischen
Filter von Fig. 19 ist ein weiteres, kurze Wellenlängen
durchlassendes Filter (HPF) überlagert, welches eine
Wellenlänge von annähernd 950 nm bei einem
Transmissionsvermögen von 50% aufweist, um ein
zusammengesetztes optisches Filter auszubilden, welches
Durchlaßwellenlängenbänder nur in der Nähe des Medianwertes
des Wellenlängenbandes von annähernd 400 bis 700 nm begrenzt,
in welchem das Transmissionsvermögen der Beschichtung der
Brillengläser hoch ist, und in der Nähe der
Zentrumswellenlänge der LED 8 für Strahlen im nahen Infrarot,
die zum Fotografieren in dem dunklen Zustand verwendet wird.
Hierbei wird vorzugsweise ein dielektrischer Mehrschichtfilm
in dem HPF 44 verwendet, wie in dem BRF 42. Das
zusammengesetzte optische Filter 45 ist vor der
Bildaufnahmelinse der Kameraeinheit c wie bei der
Ausführungsform 6 angeordnet, die Pupillen des Fahrers p
werden dadurch fotografiert, daß die LED 8 für Strahlen im
nahen Infrarot im Zustand der Dunkelheit eingeschaltet wird,
und das Bild des Gesichts des Fahrers p wird nur durch die
Wellenlängenbestandteile des Außenlichts von 500 bis 650 nm
und 850 bis 950 nm im Zustand der Helligkeit aufgenommen.
Hierbei liegt das erste Durchlaßband in dem
Wellenlängenbereich von 500 bis 650 nm, und der zweite
Durchlaßbereich in dem Wellenlängenbereich von 850 bis 950
nm.
Wenn das zusammengesetzte optische Filter 45 verwendet wird,
wird Licht nur in den beiden Wellenlängenbändern genutzt,
also dem Wellenlängenband der Beleuchtung mit Strahlen im
nahen Infrarot, die zum Fotografieren im dunklen Zustand
verwendet werden, und das sichtbare Wellenlängenband
einschließlich des diffusen reflektierten Lichtflusses ΦiT
von den Augen in dem Bereich sichtbaren Lichts, und daher
kann Störlicht in den anderen Wellenlängenbereichen entfernt
werden. Daher ist es möglich, starke Reflexionen zu
entfernen, die in einem Wellenlängenbereich von 700 nm oder
mehr hervorgerufen werden, können die Augen deutlicher
wahrnehmbar fotografiert werden, selbst wenn eine
Oberflächenreflexion infolge der Brillengläser auftritt, und
kann das Signal/Rauschverhältnis (S/N) beim Fotografieren des
Fahrers p in dunklem Zustand verbessert werden, da
Umgebungsstörlicht nicht in die Kamera hineingelangt, weil
nämlich Licht in anderen als erforderlichen
Wellenlängenbereichen abgeschnitten wird.
Die Ausführungsform 8 betrifft eine Vereinfachung einer
Gesichtsbildaufnahmevorrichtung.
Bei den voranstehend geschilderten Ausführungsformen 6 und 7
gibt es getrennte Filter LPF 41, BRF 42 und HPF 44.
Allerdings ist es möglich, das zusammengesetzte optische
Filter 43 mit der durch die durchgezogene Linie in Fig. 19
dargestellten spektroskopischen Durchlaßcharakteristik durch
eine einzige Schicht eines Substrats auszubilden, wenn
beispielsweise BRF 42 dadurch hergestellt wird, daß ein
dielektrischer Mehrschichtfilm auf eine Oberfläche des
Substrats des LPF 41 des Absorptionstyps laminiert wird, oder
LPF 41 auf einer Oberfläche eines transparenten Substrats
ausgebildet wird, und BRF 42 auf dessen anderer Oberfläche,
durch Auflaminieren dielektrischer Mehrschichtfilme auf deren
beide Oberflächen.
Weiterhin kann das zusammengesetzte optische Filter 45 mit
der spektroskopischen Durchlaßcharakteristik, die in Fig. 20
durch die durchgezogene Linie dargestellt ist, durch ein
Substrat ausgebildet werden, durch Ausbildung von BRF 42 auf
einer Oberfläche eines Substrats des LPF 41 des
Absorptionstyps und HPF 44 auf dessen anderer Oberfläche,
durch Auflaminieren dielektrischer Mehrschichtfilme auf beide
Oberflächen des Substrats.
Bei diesen Vorgehensweisen kann daher das zusammengesetzte
optische Filter 45 dünner ausgebildet werden, kostengünstig
hergestellt werden, und verursacht keine aufwendigen Probleme
wie die Anordnung und Ausrichtung mehrerer Filter.
Die Ausführungsform 9 betrifft eine Kombination der
voranstehend geschilderten Ausführungsformen, bei welcher
selbst dann, wenn die Oberflächenreflexion durch die
Brillengläser vergleichsweise stark ist, dieser Einfluß
ausgeschaltet werden kann.
Obwohl nicht dargestellt kann der Einfluß der Reflexion durch
die Brillengläser dadurch weiter verringert werden, daß das
optische Filter 4 an der Kameraeinheit c, welches bei der
Ausführungsform 1 oder der Ausführungsform 5 gezeigt ist,
durch das zusammengesetzte optische Filter 43 oder das
zusammengesetzte optische Filter 45 ersetzt wird, welches bei
der voranstehend geschilderten Ausführungsformen 6 und 7
gezeigt ist.
Daher wird zuerst der Einfluß der Oberflächenreflexion der
Brillengläser dadurch verringert, daß der Fahrer p unter
Verwendung der Kameraeinheit c fotografiert wird, bei welcher
das voranstehend geschilderte, zusammengesetzte optische
Filter 43 oder das zusammengesetzte optische Filter 45
verwendet wird. Darüber hinaus wird, wie bei der
Ausführungsform 1 oder der Ausführungsform 5, die Lichtquelle
6 für Strahlen im nahen Infrarot dadurch eingeschaltet, daß
das Beleuchtungssteuersignal zum Ausschalten der
Brillenreflexion an die Beleuchtungssteuerschaltung 5 über
die Ausgangs-I/F 14 in einem Fall gesandt wird, daß die
Außenumgebung oder die nähere Umgebung des Gesichts des
Fahrers p hell ist, oder die Brille des Fahrers p erfaßt wird
und dennoch die Augen nicht erfaßt werden können.
Selbst in einem Zustand, in welchem die Oberflächenreflexion
infolge der optischen Gläser extrem stark ist, etwa in einem
Fall, in welchem eine weiße Wolke, eine Wand oder dergleichen
durch die optischen Gläser bei klaren Witterungsbedingungen
reflektiert wird, können bei der vorliegenden Ausführungsform
die Augen deutlich wahrnehmbar fotografiert werden, daß der
Einfluß der Reflexion der Gläser dadurch sicher ausgeschaltet
wird, daß die Lichtquelle 6 für Strahlen im nahen Infrarot
eingeschaltet wird.
Darüber hinaus können die Augen deutlich wahrnehmbar dadurch
fotografiert werden, daß das zusammengesetzte optische Filter
43 oder das zusammengesetzte optische Filter 45 verwendet
wird, wenn eine normal hervorgerufene Oberflächenreflexion
durch die Brillengläser auftritt, und daher wird die
Wahrscheinlichkeit für das Auftreten eines Zustand gering, in
welchem die Augen nicht erfaßt werden können, wodurch die
Häufigkeit der Benutzung der Lichtquelle 6 für Strahlen im
nahen Infrarot im Zustand der Helligkeit verringert wird, und
die Lebensdauer noch weiter verlängert werden kann.
Bei der Ausführungsform 10 werden zwei optische Filter so
verwendet, daß sie umgeschaltet werden, wodurch das Auge
deutlich erfaßt werden kann, ohne daß die Lichtquelle 6 für
Strahlen im nahen Infrarot zum Ausschalten des Einflusses der
Reflexion der Brillengläser vorgesehen wird.
Die Fig. 21 bis 24 zeigen die Ausführungsform 10, wobei Fig.
21 eine schematische Ansicht einer
Fahrerzustandserfassungsvorrichtung mit einer
Gesichtsbildaufnahmevorrichtung von Ausführungsform 10 ist,
Fig. 22 eine Schnittansicht einer Bildaufnahmeeinheit a, Fig.
23 eine Perspektivansicht einer Filmwechseleinheit, und Fig.
24 ein Diagramm der spektroskopischen
Transmissionscharakteristik eines optischen Filters 46 für
eine Seite.
In den Fig. 21 bis 23 bezeichnet das Bezugszeichen 46 ein
erstes optisches Filter, welches ein Durchlaßband nur in
einem Bereich des sichtbaren Lichts aufweist, in welchem das
Transmissionsvermögen der Beschichtung der Brillengläser hoch
ist. Wie aus Fig. 24 hervorgeht, ist das Filter ein
Bandpaßfilter (BPF) mit Wellenlängen von 500 nm und 650 nm
bei einem Transmissionsvermögen von 50%. Das Bezugszeichen 47
bezeichnet ein zweites optisches Filter, bei welchem die
Transmissionswellenlänge entsprechend dem Wellenlängenbereich
der Lichtquelle für Strahlen im nahen Infrarot zur
Beleuchtung des Fahrers p bei Dunkelheit gewählt ist. Das
zweite optische Filter kann ein normales Abschneidefilter für
sichtbares Licht in einem Fall verwenden, in welchem
beispielsweise die LED 8 für Strahlen im nahen Infrarot mit
einer Zentrumswellenlänge von 900 nm als die Lichtquelle für
Strahlen im nahen Infrarot wie bei der voranstehend
geschilderten Ausführungsform 5 verwendet wird. Wenn jedoch
ein BPF mit einer Halbwertsbreite von annähernd 100 nm,
zentriert auf der Wellenlänge von 900 nm, verwendet wird,
können Störlichtkomponenten, die sich von dem
Beleuchtungslicht unterscheiden, entfernt werden, was
vorteilhaft ist. Hierbei ist der Bereich sichtbaren Lichts,
in welchem das Transmissionsvermögen der Beschichtung der
Brillengläser hoch ist, das erste Durchlaßband, und der
Wellenlängenbereich der Lichtquelle für Strahlen im nahen
Infrarot zur Beleuchtung des Fahrers p in der Dunkelheit
stellt das zweite Durchlaßband dar.
Das Bezugszeichen 60 bezeichnet eine Filmwechselvorrichtung
zur Umschaltung des ersten optischen Filters 46 und des
zweiten optischen Filters 47, und die Filmwechselvorrichtung
ist in einem Gehäuse 50 der Bildaufnahmeeinheit a
aufgenommen. Obwohl das erste optische Filter 46 und das
zweite optische Filter 47 auf der Vorderseite der Linse 3
angeordnet sein können, sind sie bei der vorliegenden
Ausführungsform auf der Rückseite der Linse 3 angeordnet,
wodurch die Filterwechselvorrichtung 60 verkleinert wird, und
die chromatische Aberration der Linse 3 dadurch korrigiert
wird, daß die effektive Brennweite der Linse 3 durch Änderung
der Dicke und des Materials geändert wird, also des
Brechungsindex des Filtersubstrats entsprechend dem
Durchlaßwellenlängenband. Das Bezugszeichen 48 bezeichnet ein
transparentes Schutzteil wie beispielsweise Glas, welches mit
einer reflexionsmindernden Beschichtung beschichtet ist.
Die Filterwechselvorrichtung 60 weist einen Motor 61 auf, der
eine Antriebskraft zum Wechseln der Filter erzeugt, eine
Leitung 62 zum Zuführen von Signalen zum Motor 61, ein
Getriebe 63 zur Verringerung der Umdrehungsgeschwindigkeit
des Motors 61, eine Drehnockenplatte 64, die einen
vorspringenden Rollenstift aufweist und durch Aufnahme einer
Drehkraft von dem Getriebe 63 verschwenkt wird, und eine
Filterhalterungsplatte 65 in L-Form aufweist, welche auf
ihrer einen Oberfläche die Filter haltert, und auf ihrer
anderen Oberfläche ein Langloch zum Einführen des
Rollenstifts aufweist.
Nachstehend erfolgt eine Erläuterung des Betriebsablaufs bei
der Ausführungsform 10.
Zuerst wird beim Rücksetzen der Vorrichtung das erste
optische Filter 46 zum Durchlassen sichtbaren Lichts auf der
Fotoaufnahmeachse angeordnet, und wird das Bild des Gesichts
des Fahrers p durch die Lichtbestandteile in dem
Durchlaßwellenlängenbereich des Filters aufgenommen, indem
man das Licht durch das erste optische Filter 46
hindurchtreten läßt. In diesem Fall entspricht der
Durchlaßwellenlängenbereich des ersten optischen Filters 46
dem Wellenlängenbereich, in welchem das spektroskopische
Reflexionsvermögen der Brillengläser niedrig ist, und daher
wird, selbst wenn eine Oberflächenreflexion der Gläser der
Brille g auftritt, welche der Fahrer p trägt, das Auftreffen
des reflektierten Lichts auf die Kamera durch das erste
optische Filter 46 behindert. Dagegen fällt die
Wellenlängenkomponente in dem Durchlaßband des ersten
optischen Filters 46 in den diffusen reflektierten Lichtfluß
ΦiT von den Augen auf die Kamera auf, ohne durch das erste
optische Filter 46 beeinträchtigt zu werden, wodurch die
Augen deutlich wahrnehmbar fotografiert werden können.
Wenn die Außenumgebung dunkel wird, und die mittlere
Helligkeit des Bildes des Gesichts des Fahrers p verringert
wird, führt die Bildsignalbearbeitung die AGC-Regelung durch,
und steuert den Verschluß in Richtung zur Öffnungsseite. In
einem derartigen Zustand wird die Helligkeits/Dunkelheits-
Ermittlung wie bei der Ausführungsform 2 durchgeführt, und in
einem Fall, in welchem auf einen dunklen Zustand erkannt
wird, wird das erste Filter auf das zweite optische Filter 47
umgeschaltet.
Wenn das Helligkeits/Dunkelheits-Signal von der
Bildsignalbearbeitungsschaltung 2 auf den Platinen 51 mit
gedruckten Schaltungen ein Signal ausgibt, welches den
Dunkelheitszustand anzeigt, gibt die CPU 15 ein Treibersignal
an den Motor 61 über die Leitung 62 aus, und wird der Motor
61 zur Drehung veranlaßt. Die Drehzahl des Motors 61 wird
durch das an den Motor 61 angetriebene Getriebe 62
verringert, und die Drehnockenplatte 64 dreht sich um eine
halbe Drehung. Die Drehbewegung wird in eine Linearbewegung
durch das Langloch der Filterhalterungsplatte 65 und den
Rollenstift der Drehnockenplatte 64 umgewandelt, der in das
Langloch eingeführt ist, und die Linearbewegung bewegt die
Filterhalterungsplatte 65 orthogonal zur Fotoaufnahmeachse,
wodurch eine Umschaltung von dem ersten optischen Filter 46
auf das zweite optische Filter 47 erfolgt.
Dann wird bei dieser Gelegenheit die LED 8 für Strahlen im
nahen Infrarot eingeschaltet, das Gesicht des Fahrers
beleuchtet und werden die Pupillen fotografiert.
Wenn im Gegensatz hierzu sich die Außenumgebung vom Zustand
der Dunkelheit zum Zustand der Helligkeit ändert, also wenn
sich die Zeit von der Nacht zum Morgen ändert, gibt es
Sonnenlichtstrahlen zusätzlich zu den Strahlen im nahen
Infrarot der LED 8 für Strahlen im nahen Infrarot. Daher läßt
das zweite optische Filter 47 das Beleuchtungslicht der LED 8
im nahen Infrarot und die Komponenten im nahen Infrarot der
Sonnenstrahlen durch. Hierdurch wird die mittlere Helligkeit
des Bildes des Gesichts des Fahrers p erhöht, und die
Bildsignalbearbeitungsschaltung 2 stellt fest, daß sich der
Zustand der Dunkelheit zum Zustand der Helligkeit ändert, auf
der Grundlage der Erhöhung der Helligkeit, und gibt ein
Signal an die CPU 10 aus, welches den Helligkeitszustand
anzeigt. Bei Empfang des den hellen Zustand anzeigenden
Signals dreht die CPU 15 den Motor 61 in einer Richtung
entgegengesetzt zur voranstehend geschilderten Richtung,
schaltet das zweite optische Filter 47 auf das erste optische
Filter 46 um, und schaltet die LED 8 für Strahlen im nahen
Infrarot aus.
Bei der vorliegenden Ausführungsform wird der Fahrer p unter
Verwendung des Wellenlängenbereiches des sichtbaren Lichts
fotografiert, der nicht durch die Oberflächenreflexion der
Brillengläser im hellen Zustand beeinflußt wird, und daher
können die Augen deutlich wahrnehmbar fotografiert werden,
ohne eine spezielle Beleuchtung zum Ausschalten der Reflexion
zu verwenden, selbst wenn die Reflexion durch die
Brillengläser auftritt, und hierdurch wird der Fahrer p nur
durch den Wellenlängenbereich der Lichtquelle im nahen
Infrarot fotografiert, welche den Fahrer p im Zustand der
Dunkelheit beleuchtet, und aus diesem Grunde wird Störlicht
beseitigt, und kann das Signal/Rauschverhältnis (S/N) beim
Fotografieren des Fahrers p verbessert werden.
Die Ausführungsform verringert sehr stark den Einfluß der
Oberflächenreflexion infolge der Brillengläser durch eine
Kombination der Ausführungsformen 1 und 10.
Daher ist die Ausführungsform 11 mit der Kameraeinheit c
versehen, welche die Filterwechselvorrichtung 60 aufweist,
die bei der voranstehend geschilderten Ausführungsform 10
gezeigt ist, mit der Helligkeits/Dunkelheits-
Erfassungsvorrichtung wie dem Beleuchtungssensor 7, der bei
der Ausführungsform 1 erläutert wurde, und mit der
Beleuchtungssteuerschaltung 5 und der Lichtquelle 6 für
Strahlen im nahen Infrarot zur Beseitigung des Einflusses der
Reflexion durch die Brillengläser.
Im Zustand der Helligkeit wird daher das Bild des Gesichts
des Fahrers p durch Umschalten des Filters auf das erste
optische Filter 46 fotografiert, dessen Durchlaßband nur im
Bereich des sichtbaren Lichtes liegt, in welchem das
Transmissionsvermögen der Beschichtung der Brillengläser hoch
ist, wodurch der Einfluß der Oberflächenreflexion infolge der
Gläser zunächst verringert wird, und die Lichtquelle 6 für
Strahlen im nahen Infrarot wird dadurch eingeschaltet, daß
das Beleuchtungssteuersignal zum Entfernen der Reflexion der
Brille an die Beleuchtungssteuerschaltung 5 über die
Ausgangs-I/F 14 in einem Falle geschickt wird, in welchem die
Außenumgebung oder die nähere Umgebung des Gesichts des
Fahrers p im Zustand der Helligkeit ist, oder die Brille des
Fahrers p festgestellt wird, jedoch die Augen immer noch
nicht festgestellt werden können, wie bei der Ausführungsform
1 oder der Ausführungsform 5.
Bei dieser Ausführungsform können selbst in einem Fall, in
welchem die Oberflächenreflexion durch die Gläser wie bei der
Ausführungsform 9 extrem stark ist, die Augen deutlich
wahrnehmbar dadurch fotografiert werden, daß die Lichtquelle
6 für Strahlen im nahen Infrarot eingeschaltet wird, wodurch
der Einfluß der Gläserreflexion sicher ausgeschaltet werden
kann, und die Augen deutlich wahrnehmbar nur durch das erste
optische Filter 46 bei der normal hervorgerufenen
Gläserreflexion fotografiert werden können. Daher wird die
Häufigkeit des Einsatzes der Lichtquelle für Strahlen im
nahen Infrarot im Zustand der Helligkeit verringert, und kann
ihre Lebensdauer weiter verlängert werden.
Obwohl die Pupillen des Fahrers p durch die LED 8 für
Strahlen im nahen Infrarot im Zustand der Dunkelheit bei den
voranstehend geschilderten Ausführungsformen 6 bis 11
fotografiert werden, kann das Gesicht des Fahrers dadurch
beleuchtet und fotografiert werden, daß der nahe
Infrarotbereich einer Lichtquelle wie etwa einer Halogenlampe
oder einer Xenonlampe verwendet wird, oder die Lichtquelle
für nahes Infrarot, bei welcher mehrere LEDs für nahes
Infrarot zusammengebaut sind, wie bei der Ausführungsform 1.
Obwohl die Gesichtsbildaufna 05886 00070 552 001000280000000200012000285910577500040 0002019603287 00004 05767hmevorrichtungen zur Erfassung
des Einschlafzustands oder dergleichen des Fahrers eines
Fahrzeuges im Zusammenhang mit den voranstehend geschilderten
voranstehenden Ausführungsformen beschrieben wurden, können
sie selbstverständlich auch als
Gesichtsbildaufnahmevorrichtungen verwendet werden, die in
einer Erfassungsvorrichtung für den Zustand einer Person
verwendet werden, bei welcher allgemein der Zustand einer
Person festgestellt wird, durch Erfassung der Augen der zu
erfassenden Person durch Bildbearbeitung eines Bildes des
Gesichts der zu erfassenden Person.
Infolge der voranstehend geschilderten Anordnungen erzielt
die vorliegende Erfindung folgende Wirkungen.
Bei der Gesichtsbildaufnahmevorrichtung gemäß der Erfindung
wird das Gesicht einer zu erfassenden Person dadurch
beleuchtet, daß die Infrarotstrahlbeleuchtungsvorrichtung
erregt wird, wenn die Augenerfassungsvorrichtung nicht die
Augen der zu erfassenden Person erfaßt, und daher kann der
Einfluß der Reflexion durch eine Brille, welche der Fahrer
trägt, verringert werden.
Bei der Gesichtsbildaufnahmevorrichtung gemäß der
vorliegenden Erfindung wird das Gesicht der zu erfassenden
Person beleuchtet durch Erregung der
Infrarotstrahlbeleuchtungsvorrichtung in einem Fall, in
welchem die Helligkeits/Dunkelheitserfassungsvorrichtung den
Zustand der Helligkeit feststellt, und darüber hinaus die
Augenerfassungsvorrichtung nicht die Augen der zu erfassenden
Person erfaßt, und daher kann der Energieverbrauch verringert
werden.
Bei der Gesichtsbildaufnahmevorrichtung gemäß der
vorliegenden Erfindung wird der Zustand der Helligkeit oder
der Zustand der Dunkelheit auf Grundlage der Tatsache
bestimmt, ob die Helligkeit des Bildes einschließlich des
Gesichts der zu erfassenden Person, welches von der
zweidimensionalen Bildaufnahmevorrichtung fotografiert wird,
größer oder gleich einer vorbestimmten Helligkeit ist, und
daher kann der Aufbau der Vorrichtung vereinfacht werden.
Bei der Gesichtsbildaufnahmevorrichtung gemäß der
vorliegenden Erfindung wird die
Infrarotstrahlbeleuchtungsvorrichtung einmal angehalten,
nachdem ein vorbestimmter Zeitraum abgelaufen ist, seitdem
die Infrarotstrahlbeleuchtungsvorrichtung erregt wurde, und
daher kann die Infrarotstrahlbeleuchtungsvorrichtung dann
erregt werden, wenn dies erforderlich ist.
Bei der Gesichtsbildaufnahmevorrichtung gemäß der
vorliegenden Erfindung wird das Gesicht der zu erfassenden
Person beleuchtet durch Erregung der
Infrarotstrahlbeleuchtungsvorrichtung in einem Fall, in
welchem die Brillenerfassungsvorrichtung die Brille erfaßt,
und die Augenerfassungsvorrichtung nicht die Augen der zu
erfassenden Person erfaßt, und daher kann der
Energieverbrauch verringert werden.
Bei der Gesichtsbildaufnahmevorrichtung gemäß der
vorliegenden Erfindung ist die Vorrichtung mit der
Infrarotstrahlbeleuchtungsvorrichtung für den Zustand der
Dunkelheit versehen, welche das Gesicht der zu erfassenden
Person mit dem Infrarotstrahl beleuchtet, der durch das
optische Filter hindurchgelangt, wenn die
Helligkeits/Dunkelheitserfassungsvorrichtung den Zustand der
Dunkelheit feststellt, und die
Infrarotstrahlbeleuchtungsvorrichtung für den Zustand der
Dunkelheit und die Infrarotstrahlbeleuchtungsvorrichtung,
welche erregt wird, wenn die Augenerfassungsvorrichtung nicht
die Augen der zu erfassenden Person feststellt, funktionieren
getrennt, und daher kann der Energieverbrauch verringert
werden.
Bei der Gesichtsbildaufnahmevorrichtung gemäß der
vorliegenden Erfindung wird das Bild des Gesichts der zu
erfassenden Person dadurch fotografiert, daß das sichtbare
Licht in dem vorbestimmten Wellenlängenbereich und
Infrarotstrahlen mit einer Wellenlänge größer oder gleich
einer vorbestimmten Wellenlänge durch das Filter
hindurchgelassen werden, und daher kann durch einen einfachen
Aufbau der Einfluß der Reflexion infolge der von dem Fahrer
getragenen Brille verringert werden.
Bei der Gesichtsbildaufnahmevorrichtung gemäß der
vorliegenden Erfindung wird das Bild des Gesichts der zu
erfassenden Person nur durch das sichtbare Licht in dem
vorbestimmten Wellenlängenbereich und Infrarotstrahlen in dem
vorbestimmten Wellenlängenbereich fotografiert, und daher
kann ein deutlicheres Bild zur Verfügung gestellt werden.
Bei der Gesichtsbildaufnahmevorrichtung gemäß der
vorliegenden Erfindung wird das Bild des Gesichts der zu
erfassenden Person durch das sichtbare Licht in dem
vorbestimmten Wellenlängenbereich und die Infrarotstrahlen
mit einer Wellenlänge größer oder gleich der vorbestimmten
Wellenlänge fotografiert, und wird das Gesicht der zu
erfassenden Person beleuchtet durch Erregung der
Infrarotstrahlbeleuchtungsvorrichtung in einem Fall, in
welchem die Augen nicht in dem Bild des Gesichts festgestellt
werden können, und daher kann selbst in einem Fall, in
welchem die Reflexion infolge der von dem Fahrer getragenen
Brille vergleichsweise stark ist, dieser Einfluß verringert
werden.
Bei der Gesichtsbildaufnahmevorrichtung gemäß der
vorliegenden Erfindung ist das erste optische Filter auf der
optischen Achse der zweidimensionalen Bildaufnahmevorrichtung
angeordnet, wenn die Helligkeits-/Dunkelheits-
Erfassungsvorrichtung den Zustand der Helligkeit feststellt,
und ist das zweite optische Filter auf der optischen Achse
der zweidimensionalen Bildaufnahmevorrichtung angeordnet,
wenn die Helligkeits/Dunkelheits-Erfassungsvorrichtung den
Zustand der Dunkelheit feststellt, und daher können die Augen
deutlich erfaßt werden, und kann der Einfluß der Reflexion
durch die von dem Fahrer getragene Brille verringert werden.
Claims (11)
1. Gesichtsbildaufnahmevorrichtung, umfassend die folgenden
Merkmale:
- a) eine zweidimensionale Bildaufnahmevorrichtung (1, 2) zur Aufnahme eines Bildes eines vorbestimmten Bereiches einschließlich des Gesichts einer zu erfassenden Person (p);
- b) eine Augenerfassungsvorrichtung (b) zur Erfassung der Augen der Person auf der Grundlage des Bildes des Gesichts der Person, das von der zweidimensionalen Bildaufnahmevorrichtung (1, 2) aufgenommen wird;
- c) eine Infrarot-Beleuchtungseinheit (6) zum Beleuchten zumindest des Gesichts der zu erfassenden Person mit Infrarotlicht, wobei
- d) die Infrarot-Beleuchtungseinheit (6) so angeordnet ist, daß der Winkel, der zwischen der optischen Achse der zweidimensionalen Bildaufnahmevorrichtung (1, 2) und der optischen Achse der Infrarotstrahlen (ϕL) gebildet wird, größer oder gleich einem vorbestimmten Winkel ist; und
- e) eine Beleuchtungs-Steuereinheit (5, 105) zum EIN/AUS-Schalten der Infrarot-Beleuchtungseinheit (6);
- a) ein optisches Filter (4), das ein Durchlaßband aufweist, das zumindest Infrarotstrahlen in einem vorbestimmten Wellenlängenbereich durchläßt, auf einer optischen Achse der zweidimensionalen Bildaufnahmevorrichtung (1, 2) angeordnet ist; und
- b) die Beleuchtungs-Steuereinheit (5, 105) die Infrarot-Beleuchtungseinheit (6) dann EIN-schaltet, wenn die Augenerfassungsvorrichtung (b) die Augen der zu erfassenden Person nicht erfasst (ST31, ST32, ST40).
2. Gesichtsbildaufnahmevorrichtung nach Anspruch 1,
dadurch gekennzeichnet, daß
der Winkel so gewählt ist, daß ein von der Infrarot-
Beleuchtungseinheit (6) ausgesendeter und auf ein Glas
einer Brille (g) der zu erfassenden Person (p)
auftreffender Lichtstrahl (ϕL) so reflektiert wird, daß
der reflektierte Lichtstrahl (ϕR) nicht auf die
Bildaufnahmevorrichtung (1, 2) auftrifft.
3. Gesichtsbildaufnahmevorrichtung nach Anspruch 1,
dadurch gekennzeichnet, daß
- 1. eine Helligkeits/Dunkelheits-Erfassungsvorrichtung (7) vorgesehen ist, um entweder den Zustand der Helligkeit oder den Zustand der Dunkelheit in der Umgebung der zu erfassenden Person festzustellen, oder in der Nähe des Gesichts, durch Erfassung der Helligkeit der Umgebung der zu erfassenden Person oder der Umgebung des Gesichts; und
- 2. die Beleuchtungs-Steuereinheit (5, 105) die Infrarot-Beleuchtungseinheit (6) EIN-schaltet (ST40), wenn die Helligkeits/Dunkelheits- Erfassungsvorrichtung (7) den Zustand der Helligkeit feststellt (ST32) und die Augenerfassungsvorrichtung (b) die Augen der zu erfassenden Person nicht erfasst.
4. Gesichtsbildaufnahmevorrichtung nach Anspruch 3,
dadurch gekennzeichnet, daß
die Helligkeits/Dunkelheits-Erfassungsvorrichtung (7)
den Zustand der Helligkeit bzw. den Zustand der
Dunkelheit bestimmt, wenn die Helligkeit eines Bildes
einschließlich des Gesichts der zu erfassenden Person,
welches von der zweidimensionalen
Bildaufnahmevorrichtung (1, 2) aufgenommen wurde, größer
oder gleich bzw. kleiner wie eine vorbestimmte
Helligkeit ist.
5. Gesichtsbildaufnahmevorrichtung nach Anspruch 1,
dadurch gekennzeichnet, daß
die Beleuchtungs-Steuereinheit (5, 105) die Infrarot-
Beleuchtungseinheit (6) einmal AUS-schaltet, wenn ein
vorbestimmter Zeitraum seit der EIN-Schaltung der
Infrarot-Beleuchtungseinheit (6) abgelaufen ist (ST33-
ST35).
6. Gesichtsbildaufnahmevorrichtung nach Anspruch 1,
dadurch gekennzeichnet, daß
- 1. eine Brillenerfassungsvorrichtung (ST81) zur Erfassung des Vorhandenseins oder der Abwesenheit einer von der zu erfassenden Person getragenen Brille vorhanden ist; und
- 2. die Beleuchtungs-Steuereinheit (5, 105) die Infrarot-Beleuchtungseinheit (6) EIN-schaltet (ST40), wenn die Brillenerfassungsvorrichtung (ST81) eine Brille erfasst und die Augenerfassungsvorrichtung (b) die Augen der zu erfassenden Person nicht erfasst (St31).
7. Gesichtsbildaufnahmevorrichtung nach Anspruch 3,
dadurch gekennzeichnet, daß
eine zweite Infrarot-Beleuchtungseinheit (8) vorgesehen
ist, um das Gesicht der zu erfassenden Person mit
Infrarotstrahlen zu beleuchten, wenn die
Helligkeits/Dunkelheits-Erfassungsvorrichtung (7) den
Zustand der Dunkelheit feststellt.
8. Gesichtsbildaufnahmevorrichtung, nach Anspruch 1,
dadurch gekennzeichnet, daß
das optische Filter (43) mit einem ersten Durchlaßband
(41), welches sichtbares Licht in einem vorbestimmten
Wellenlängenbereich durchläßt, und mit einem zweiten
Durchlaßband (42), welches Infrarotstrahlen durchläßt,
die eine Wellenlänge größer oder gleich einer
vorbestimmten Wellenlänge aufweisen, versehen ist.
9. Gesichtsbildaufnahmevorrichtung nach Anspruch 8,
dadurch gekennzeichnet, daß
das zweite Durchlaßband (42) des optischen Filters (43)
Infrarotstrahlen nur in einem vorbestimmten
Wellenlängenbereich durchläßt.
10. Gesichtsbildaufnahmevorrichtung nach Anspruch 8,
dadurch gekennzeichnet, daß
das optische Filter (43) mit den beiden Durchlaßbändern
(41, 42) ein erstes optisches Filter (41) sowie ein
zweites optisches Filter (42) umfasst, die
hintereinander auf der optischen Achse der
zweidimensionalen Bildaufnahmevorrichtung (1, 2)
angeordnet sind.
11. Gesichtsbildaufnahmevorrichtung nach Anspruch 3 oder 4,
dadurch gekennzeichnet, daß
- 1. das optische Filter (65) ein erstes optisches Filter (46), welches ein erstes Durchlaßband aufweist, sowie ein zweites optisches Filter (47), welches ein zweites Durchlaßband aufweist, umfasst; und
- 2. eine Filterwechselvorrichtung (60-65) vorgesehen ist, zum Anordnen des ersten optischen Filters (46) auf einer optischen Achse der zweidimensionalen Bildaufnahmevorrichtung (1, 2), wenn die Helligkeits/Dunkelheits-Erfassungsvorrichtung (7) den Zustand der Helligkeit feststellt, und zur Anordnung des zweiten optischen Filters (47) auf der optischen Achse der zweidimensionalen Bildaufnahmevorrichtung (1, 2), wenn die Helligkeits/Dunkelheits-Erfassungsvorrichtung (7) den Zustand der Helligkeit feststellt.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17097795A JP3316725B2 (ja) | 1995-07-06 | 1995-07-06 | 顔画像撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE19603287A1 DE19603287A1 (de) | 1997-01-09 |
DE19603287C2 true DE19603287C2 (de) | 1999-07-01 |
Family
ID=15914861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19603287A Expired - Fee Related DE19603287C2 (de) | 1995-07-06 | 1996-01-30 | Gesichtsbildaufnahmevorrichtung |
Country Status (3)
Country | Link |
---|---|
US (1) | US5801763A (de) |
JP (1) | JP3316725B2 (de) |
DE (1) | DE19603287C2 (de) |
Families Citing this family (114)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8604932B2 (en) * | 1992-05-05 | 2013-12-10 | American Vehicular Sciences, LLC | Driver fatigue monitoring system and method |
US9129505B2 (en) * | 1995-06-07 | 2015-09-08 | American Vehicular Sciences Llc | Driver fatigue monitoring system and method |
JP3350296B2 (ja) * | 1995-07-28 | 2002-11-25 | 三菱電機株式会社 | 顔画像処理装置 |
JP3426060B2 (ja) * | 1995-07-28 | 2003-07-14 | 三菱電機株式会社 | 顔画像処理装置 |
JP3355076B2 (ja) * | 1995-09-14 | 2002-12-09 | 三菱電機株式会社 | 顔画像処理装置 |
US6320610B1 (en) | 1998-12-31 | 2001-11-20 | Sensar, Inc. | Compact imaging device incorporating rotatably mounted cameras |
US6215891B1 (en) | 1997-03-26 | 2001-04-10 | Oki Electric Industry Co., Ltd. | Eye image recognition method eye image selection method and system therefor |
JP3577882B2 (ja) * | 1997-03-31 | 2004-10-20 | 日産自動車株式会社 | 居眠り状態検出装置 |
JP3471201B2 (ja) * | 1997-09-05 | 2003-12-02 | 株式会社東芝 | 撮像モジュール、および撮像装置 |
US6064752A (en) * | 1997-11-04 | 2000-05-16 | Sensar, Inc. | Method and apparatus for positioning subjects before a single camera |
US6069967A (en) * | 1997-11-04 | 2000-05-30 | Sensar, Inc. | Method and apparatus for illuminating and imaging eyes through eyeglasses |
JPH11242116A (ja) * | 1998-02-25 | 1999-09-07 | Nec Eng Ltd | 波長可変光フィルタ及びこれを組合わせた光増幅器 |
JP3868621B2 (ja) | 1998-03-17 | 2007-01-17 | 株式会社東芝 | 画像取得装置、画像取得方法、及び記録媒体 |
JP3580129B2 (ja) * | 1998-05-06 | 2004-10-20 | オムロン株式会社 | 本人識別装置 |
US6700613B1 (en) * | 1998-06-16 | 2004-03-02 | Eastman Kodak Company | Data-reading image capture apparatus, camera, and method of use |
JP2000035313A (ja) * | 1998-07-15 | 2000-02-02 | Niles Parts Co Ltd | 居眠り運転警報装置 |
JP2000163695A (ja) * | 1998-11-25 | 2000-06-16 | Mitsubishi Electric Corp | 画像認識装置 |
DE19921488A1 (de) * | 1999-05-08 | 2000-11-16 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Überwachung des Innenraums und des Umfeldes eines Fahrzeugs |
JP3998855B2 (ja) * | 1999-05-18 | 2007-10-31 | 三菱電機株式会社 | 危険接近防止装置 |
JP3768735B2 (ja) * | 1999-07-07 | 2006-04-19 | 三菱電機株式会社 | 顔画像処理装置 |
US7076088B2 (en) * | 1999-09-03 | 2006-07-11 | Honeywell International Inc. | Near-infrared disguise detection |
US6370260B1 (en) | 1999-09-03 | 2002-04-09 | Honeywell International Inc. | Near-IR human detector |
TWI283695B (en) | 1999-10-21 | 2007-07-11 | Hayashibara Biochem Lab | Thermoplastic shaped-body of trehalose, process and uses thereof |
SG103253A1 (en) * | 2000-01-26 | 2004-04-29 | Kent Ridge Digital Labs | Method and apparatus for cancelling lighting variations in object recognition |
JP3967863B2 (ja) * | 2000-02-15 | 2007-08-29 | ナイルス株式会社 | 眼の状態検出装置 |
DE10161262B4 (de) * | 2000-06-23 | 2006-04-20 | Daimlerchrysler Ag | Verfahren und Vorrichtung zur Aufmerksamkeitsteurung für Bediener einer technischen Einrichtung, basierend auf Infrarot-Bilddaten |
DE10030813B4 (de) * | 2000-06-23 | 2004-02-12 | Daimlerchrysler Ag | Aufmerksamkeitssteuerung für Bediener einer technischen Einrichtung |
GB0018161D0 (en) * | 2000-07-25 | 2000-09-13 | Bio4 Limited | Identity systems |
JP3983469B2 (ja) * | 2000-11-14 | 2007-09-26 | 富士フイルム株式会社 | 画像処理装置、方法及び記録媒体 |
US6734799B2 (en) | 2001-03-01 | 2004-05-11 | Trw Inc. | Apparatus and method for responding to the health and fitness of a driver of a vehicle |
JP2002330318A (ja) * | 2001-04-27 | 2002-11-15 | Matsushita Electric Ind Co Ltd | 携帯端末装置 |
JP2002352229A (ja) | 2001-05-30 | 2002-12-06 | Mitsubishi Electric Corp | 顔部位検出装置 |
JP3965943B2 (ja) * | 2001-07-12 | 2007-08-29 | 株式会社ノーリツ | 人体検出装置 |
US7027619B2 (en) * | 2001-09-13 | 2006-04-11 | Honeywell International Inc. | Near-infrared method and system for use in face detection |
JP3960000B2 (ja) * | 2001-10-09 | 2007-08-15 | 株式会社ノーリツ | 人体検出装置 |
US6987259B2 (en) | 2002-05-30 | 2006-01-17 | Dmetrix, Inc. | Imaging system with an integrated source and detector array |
JP4151341B2 (ja) * | 2002-08-02 | 2008-09-17 | 日産自動車株式会社 | 顔状態検出装置 |
US6909495B2 (en) | 2002-08-13 | 2005-06-21 | Diamond Power International, Inc. | Emissivity probe |
JP4103495B2 (ja) * | 2002-08-21 | 2008-06-18 | 日産自動車株式会社 | 顔の特徴量検出装置 |
AU2002362145A1 (en) | 2002-12-11 | 2004-06-30 | Nielsen Media Research, Inc. | Detecting a composition of an audience |
US7203338B2 (en) * | 2002-12-11 | 2007-04-10 | Nielsen Media Research, Inc. | Methods and apparatus to count people appearing in an image |
JP2004314887A (ja) * | 2003-04-18 | 2004-11-11 | Calsonic Kansei Corp | 車両用空気調和装置 |
US7817013B2 (en) * | 2003-09-05 | 2010-10-19 | Honeywell International Inc. | Distributed stand-off ID verification compatible with multiple face recognition systems (FRS) |
US7362210B2 (en) * | 2003-09-05 | 2008-04-22 | Honeywell International Inc. | System and method for gate access control |
US7183895B2 (en) * | 2003-09-05 | 2007-02-27 | Honeywell International Inc. | System and method for dynamic stand-off biometric verification |
US7857700B2 (en) | 2003-09-12 | 2010-12-28 | Igt | Three-dimensional autostereoscopic image display for a gaming apparatus |
US20050074183A1 (en) * | 2003-09-19 | 2005-04-07 | Narlow Douglas A. | Object recognition system including an adaptive light source |
US8190231B2 (en) | 2003-11-20 | 2012-05-29 | Hamamatsu Photonics K.K. | Lymph node detecting apparatus |
JP2006014868A (ja) * | 2004-06-30 | 2006-01-19 | Hamamatsu Photonics Kk | リンパ節検出装置 |
US7606395B2 (en) * | 2004-08-25 | 2009-10-20 | Tbs Holding Ag | Method and arrangement for optical recording of data |
WO2006030863A1 (ja) * | 2004-09-17 | 2006-03-23 | Nikon Corporation | 光学ローパスフィルタおよび撮像装置 |
US7777778B2 (en) * | 2004-10-27 | 2010-08-17 | Delphi Technologies, Inc. | Illumination and imaging system and method |
JP4622541B2 (ja) * | 2005-01-25 | 2011-02-02 | 沖電気工業株式会社 | 虹彩撮影装置 |
JP2007072942A (ja) * | 2005-09-09 | 2007-03-22 | Chuan-Liang Industrial Co Ltd | 指紋パターンを識別するための反射を用いる指紋識別組立体 |
US7878910B2 (en) * | 2005-09-13 | 2011-02-01 | Igt | Gaming machine with scanning 3-D display system |
US20070115343A1 (en) * | 2005-11-22 | 2007-05-24 | Sony Ericsson Mobile Communications Ab | Electronic equipment and methods of generating text in electronic equipment |
KR100729813B1 (ko) * | 2006-01-20 | 2007-06-18 | (주)자이리스 | 홍채 인증용 촬영장치, 홍채 인증용 촬영모듈 및 홍채인증용 촬영장치를 구비하는 단말기 |
JP2008094221A (ja) * | 2006-10-11 | 2008-04-24 | Denso Corp | 目状態検出装置および目状態検出装置の取り付け方法 |
JP4658899B2 (ja) * | 2006-10-24 | 2011-03-23 | 本田技研工業株式会社 | 車両の乗員検知装置 |
JP2008152032A (ja) * | 2006-12-18 | 2008-07-03 | Smk Corp | カメラモジュール |
JP4980737B2 (ja) * | 2007-01-30 | 2012-07-18 | 株式会社デンソー | 車両用情報提示装置 |
JP4946672B2 (ja) * | 2007-07-04 | 2012-06-06 | オムロン株式会社 | 脇見検出装置および方法、並びに、プログラム |
KR102389147B1 (ko) | 2007-09-24 | 2022-04-21 | 애플 인크. | 전자 장치 내의 내장형 인증 시스템들 |
JP2009116742A (ja) * | 2007-11-08 | 2009-05-28 | Aisin Seiki Co Ltd | 車載用画像処理装置、画像処理方法、および、プログラム |
US8600120B2 (en) | 2008-01-03 | 2013-12-03 | Apple Inc. | Personal computing device control using face detection and recognition |
JP4888838B2 (ja) * | 2008-05-12 | 2012-02-29 | トヨタ自動車株式会社 | 運転者撮像装置および運転者撮像方法 |
US8411963B2 (en) | 2008-08-08 | 2013-04-02 | The Nielsen Company (U.S.), Llc | Methods and apparatus to count persons in a monitored environment |
US8493286B1 (en) * | 2009-04-21 | 2013-07-23 | Mark T. Agrama | Facial movement measurement and stimulation apparatus and method |
US20110043637A1 (en) * | 2009-08-19 | 2011-02-24 | Digilife Technologies Co., Ltd. | Image pickup device |
JP2012002735A (ja) * | 2010-06-18 | 2012-01-05 | Panasonic Electric Works Co Ltd | 空間情報検出装置 |
US8611608B2 (en) * | 2011-08-23 | 2013-12-17 | Xerox Corporation | Front seat vehicle occupancy detection via seat pattern recognition |
JP5366028B2 (ja) | 2011-08-25 | 2013-12-11 | 株式会社デンソー | 顔画像撮像装置 |
US8620088B2 (en) | 2011-08-31 | 2013-12-31 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
CN102324166B (zh) * | 2011-09-19 | 2013-06-12 | 深圳市汉华安道科技有限责任公司 | 一种疲劳驾驶检测方法及装置 |
US8769624B2 (en) | 2011-09-29 | 2014-07-01 | Apple Inc. | Access control utilizing indirect authentication |
US9002322B2 (en) | 2011-09-29 | 2015-04-07 | Apple Inc. | Authentication with secondary approver |
GB2495323B (en) * | 2011-10-07 | 2018-05-30 | Irisguard Inc | Improvements for iris recognition systems |
GB2495324B (en) | 2011-10-07 | 2018-05-30 | Irisguard Inc | Security improvements for Iris recognition systems |
US10086697B2 (en) | 2011-12-22 | 2018-10-02 | Volkswagen Ag | Method and device for fatigue detection |
US8743193B2 (en) * | 2011-12-22 | 2014-06-03 | Volkswagen Ag | Method and device for detecting drowsiness |
JP5761074B2 (ja) * | 2012-02-24 | 2015-08-12 | 株式会社デンソー | 撮像制御装置及びプログラム |
EP2850510A2 (de) | 2012-05-18 | 2015-03-25 | Apple Inc. | Vorrichtung, verfahren und grafische benutzeroberfläche zur manipulation von benutzeroberflächen auf basis von fingerabdrucksensoreingaben |
US9898642B2 (en) | 2013-09-09 | 2018-02-20 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
CN103956027A (zh) * | 2014-04-04 | 2014-07-30 | 驻马店市金格尔电气设备有限公司 | 一种驾驶员人眼疲劳检测装置及检测方法 |
US9760783B2 (en) | 2014-05-09 | 2017-09-12 | Conduent Business Services, Llc | Vehicle occupancy detection using passenger to driver feature distance |
US9483763B2 (en) | 2014-05-29 | 2016-11-01 | Apple Inc. | User interface for payments |
JP6383218B2 (ja) * | 2014-08-21 | 2018-08-29 | 任天堂株式会社 | 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法 |
US10532659B2 (en) | 2014-12-30 | 2020-01-14 | Joyson Safety Systems Acquisition Llc | Occupant monitoring systems and methods |
USD751437S1 (en) | 2014-12-30 | 2016-03-15 | Tk Holdings Inc. | Vehicle occupant monitor |
US9533687B2 (en) | 2014-12-30 | 2017-01-03 | Tk Holdings Inc. | Occupant monitoring systems and methods |
US10614328B2 (en) | 2014-12-30 | 2020-04-07 | Joyson Safety Acquisition LLC | Occupant monitoring systems and methods |
KR102381140B1 (ko) | 2015-02-25 | 2022-03-31 | 엘지전자 주식회사 | 디지털 디바이스 및 그의 운전자 모니터링 방법 |
US9924085B2 (en) * | 2015-04-09 | 2018-03-20 | Bendix Commercial Vehicle Systems Llc | Apparatus and method for disabling a driver facing camera in a driver monitoring system |
US10007845B2 (en) * | 2015-07-06 | 2018-06-26 | Pixart Imaging Inc. | Eye state detecting method and eye state detecting system |
EP3193318B1 (de) | 2016-01-18 | 2019-05-01 | Veoneer Sweden AB | Fahrerüberwachungssystem und fahrerüberwachungsverfahren für ein kraftfahrzeug |
US20170211781A1 (en) * | 2016-01-21 | 2017-07-27 | Sun Innovations, Inc. | Light emitting displays that supplement objects |
US20190278097A1 (en) * | 2016-01-21 | 2019-09-12 | Sun Innovations, Inc. | Light emitting displays that supplement objects |
DK179186B1 (en) | 2016-05-19 | 2018-01-15 | Apple Inc | REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION |
JP2019514302A (ja) * | 2016-05-25 | 2019-05-30 | エムテクビジョン カンパニー リミテッド | 運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法 |
US10346697B2 (en) * | 2016-12-21 | 2019-07-09 | Hyundai America Technical Center, Inc | Driver state monitoring using corneal reflection detection |
US20190012552A1 (en) * | 2017-07-06 | 2019-01-10 | Yves Lambert | Hidden driver monitoring |
KR102389678B1 (ko) | 2017-09-09 | 2022-04-21 | 애플 인크. | 생체측정 인증의 구현 |
KR102185854B1 (ko) | 2017-09-09 | 2020-12-02 | 애플 인크. | 생체측정 인증의 구현 |
US11273836B2 (en) * | 2017-12-18 | 2022-03-15 | Plusai, Inc. | Method and system for human-like driving lane planning in autonomous driving vehicles |
US11170085B2 (en) | 2018-06-03 | 2021-11-09 | Apple Inc. | Implementation of biometric authentication |
JP7200546B2 (ja) * | 2018-08-29 | 2023-01-10 | 日本精機株式会社 | 乗員監視装置 |
US10860096B2 (en) | 2018-09-28 | 2020-12-08 | Apple Inc. | Device control using gaze information |
US11100349B2 (en) | 2018-09-28 | 2021-08-24 | Apple Inc. | Audio assisted enrollment |
JP7031998B2 (ja) * | 2019-04-19 | 2022-03-08 | 矢崎総業株式会社 | オーディオ制御システム及びオーディオ制御方法 |
US11711638B2 (en) | 2020-06-29 | 2023-07-25 | The Nielsen Company (Us), Llc | Audience monitoring systems and related methods |
US11860704B2 (en) | 2021-08-16 | 2024-01-02 | The Nielsen Company (Us), Llc | Methods and apparatus to determine user presence |
JP2023041097A (ja) * | 2021-09-13 | 2023-03-24 | 矢崎総業株式会社 | 検出システム |
US11758223B2 (en) | 2021-12-23 | 2023-09-12 | The Nielsen Company (Us), Llc | Apparatus, systems, and methods for user presence detection for audience monitoring |
CN117761950B (zh) * | 2024-02-21 | 2024-04-30 | 深圳莫廷医疗科技股份有限公司 | 眼底照相机 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0468500A (ja) * | 1990-07-09 | 1992-03-04 | Toyota Motor Corp | 車両運転者監視装置 |
JPH0632154A (ja) * | 1992-07-18 | 1994-02-08 | Nissan Motor Co Ltd | 運転者の状態検出装置 |
DE4441332A1 (de) * | 1993-11-11 | 1995-05-18 | Mitsubishi Electric Corp | Fahrer-Fotografiervorrichtung |
DE19509689A1 (de) * | 1994-03-10 | 1995-09-14 | Mitsubishi Electric Corp | Körperzustands-Erfassungsapparat |
DE19613614A1 (de) * | 1995-05-10 | 1996-11-14 | Mitsubishi Electric Corp | Vorrichtung zur Bearbeitung eines Bildes eines Gesichts |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62247410A (ja) * | 1985-12-04 | 1987-10-28 | Aisin Seiki Co Ltd | 電気装置の付勢制御装置 |
US5012522A (en) * | 1988-12-08 | 1991-04-30 | The United States Of America As Represented By The Secretary Of The Air Force | Autonomous face recognition machine |
GB9019538D0 (en) * | 1990-09-07 | 1990-10-24 | Philips Electronic Associated | Tracking a moving object |
JP2522859B2 (ja) * | 1990-12-14 | 1996-08-07 | 日産自動車株式会社 | 眼位置検出装置 |
US5420638A (en) * | 1992-04-14 | 1995-05-30 | U.S. Philips Corporation | Subassembly for coding images with refresh correction of the data to be coded, and subassembly for decording signals representing these images and previously coded by means of a subassembly of the former kind |
JPH0617772A (ja) * | 1992-07-03 | 1994-01-25 | Daikin Ind Ltd | スクロール圧縮機 |
JPH06150199A (ja) * | 1992-11-13 | 1994-05-31 | Mitsubishi Electric Corp | 車両予防安全装置 |
JP2988178B2 (ja) * | 1993-03-11 | 1999-12-06 | 日産自動車株式会社 | 視線方向計測装置 |
JPH06323832A (ja) * | 1993-05-13 | 1994-11-25 | Nissan Motor Co Ltd | 車両用インターフェイス |
US5438357A (en) * | 1993-11-23 | 1995-08-01 | Mcnelley; Steve H. | Image manipulating teleconferencing system |
JPH07191384A (ja) * | 1993-12-24 | 1995-07-28 | Nissan Motor Co Ltd | 撮像用光源装置 |
JP3057996B2 (ja) * | 1994-01-18 | 2000-07-04 | 日産自動車株式会社 | 車両運転者の眼球位置検出装置 |
JP3465336B2 (ja) * | 1994-02-04 | 2003-11-10 | 三菱電機株式会社 | 顔画像撮影装置 |
US5500671A (en) * | 1994-10-25 | 1996-03-19 | At&T Corp. | Video conference system and method of providing parallax correction and a sense of presence |
JPH08249454A (ja) * | 1995-03-07 | 1996-09-27 | Nissan Motor Co Ltd | 車両運転者のわき見検出装置 |
-
1995
- 1995-07-06 JP JP17097795A patent/JP3316725B2/ja not_active Expired - Fee Related
- 1995-12-20 US US08/575,487 patent/US5801763A/en not_active Expired - Lifetime
-
1996
- 1996-01-30 DE DE19603287A patent/DE19603287C2/de not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0468500A (ja) * | 1990-07-09 | 1992-03-04 | Toyota Motor Corp | 車両運転者監視装置 |
JPH0632154A (ja) * | 1992-07-18 | 1994-02-08 | Nissan Motor Co Ltd | 運転者の状態検出装置 |
DE4441332A1 (de) * | 1993-11-11 | 1995-05-18 | Mitsubishi Electric Corp | Fahrer-Fotografiervorrichtung |
DE19509689A1 (de) * | 1994-03-10 | 1995-09-14 | Mitsubishi Electric Corp | Körperzustands-Erfassungsapparat |
DE19613614A1 (de) * | 1995-05-10 | 1996-11-14 | Mitsubishi Electric Corp | Vorrichtung zur Bearbeitung eines Bildes eines Gesichts |
Also Published As
Publication number | Publication date |
---|---|
DE19603287A1 (de) | 1997-01-09 |
US5801763A (en) | 1998-09-01 |
JP3316725B2 (ja) | 2002-08-19 |
JPH0921611A (ja) | 1997-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE19603287C2 (de) | Gesichtsbildaufnahmevorrichtung | |
DE102012201071B4 (de) | Gesichtsabbildungssystem und verfahren zum steuern des gesichtsabbildungssystems sowie computerlesbares medium | |
DE102020105652B4 (de) | Verfolgungssystem mit infrarot-kamera | |
DE68927275T2 (de) | Bildaufnahmegerät | |
DE69830611T2 (de) | Verfahren zur beleuchtung und bilddarstellung von augen mit brille bei anwendung von mehrfachbeleuchtungsquellen | |
DE4441332B4 (de) | Vorrichtung zur Bestimmung der Position der Pupillen eines Fahrers | |
DE69906139T2 (de) | Vorrichtung zum verfolgen von augenbewegungen | |
DE102008027194B4 (de) | Gesichtsbildaufnahmevorrichtung | |
DE69424511T2 (de) | Gerät zur Erfassung der Blickrichtung | |
DE69934068T2 (de) | Bestimmung der position von augen durch blitzreflexerkennung und korrektur von defekten in einem aufgenommenen bild | |
DE69125682T2 (de) | Kamerasteuerung | |
EP3688511A1 (de) | Anzeigevorrichtung, insbesondere für ein fahrzeug, sowie fahrzeug mit einer solchen anzeigevorrichtung | |
DE10136419B4 (de) | Optisches System für eine Lichtquellenvorrichtung eines Videoendoskopsystems | |
DE102012206078A1 (de) | Bestimmung einer Anzahl von Objekten in einem IR-Bild | |
WO2009071121A2 (de) | Interaktionsanordnung zur interaktion zwischen einem bildschirm und einem zeigerobjekt | |
EP1262751A2 (de) | Vorrichtung und Verfahren zur Lichtanalyse | |
EP2194841A1 (de) | Anordnung und verfahren zur erzeugung von bildern mit erweiterter dynamik | |
DE3710199C2 (de) | Automatische Fokussiereinrichtung für Kameras | |
DE4215523C2 (de) | Blickpunkterfassungseinrichtung für eine Kamera | |
EP1049064A2 (de) | Verkehrsüberwachungseinrichtung mit Polarisationsfiltern | |
DE3116380C2 (de) | Augenhintergrund-Kamera | |
DE69820337T2 (de) | Optischer Fingerabdrucksensor mit Impulsbeleuchtung | |
EP1394756B1 (de) | Vorrichtung zur Überwachung und Beeinflussung der Wachsamkeit eines Fahrzeugführers | |
DE10359345B3 (de) | Vorrichtung zur Verbesserung der Sichtverhältniesse in einem Kraftfahrzeug | |
DE69502991T2 (de) | Zielvorrichtung mit Blicknachfolge |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
D2 | Grant after examination | ||
8364 | No opposition during term of opposition | ||
8320 | Willingness to grant licences declared (paragraph 23) | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20120801 |