-
Die
vorliegende Erfindung betrifft eine Gesichtsbildaufnahmevorrichtung,
die dazu ausgelegt ist, ein Bild eines Gesichts eines Fahrers innerhalb eines
Fahrzeugs aufzunehmen.
-
Die
JP 2007-25758 A offenbart
ein Verfahren zum Extrahieren eines Gesichtsbildes, das nicht durch
Störlicht beeinflusst wird. Aus einem hellen aufgenommenen
Bild, das bei eingeschalteter Lichtquelle aufgenommen wird, und
einem dunklen aufgenommenen Bild, das bei ausgeschalteter Lichtquelle aufgenommen
wird, wird ein Differenzbild gewonnen. Wenn eine Person anwesend
ist, wird eine Gesichtsmaske der Person erzeugt und der Hintergrund
entfernt. Auf diese Weise wird ein Gesichtsbild aus dem Differenzbild
extrahiert.
-
Wenn
ein Gesichtsbild, aus welchem der Einfluss von Störlicht
entfernt wurde, verwendet wird, um eine Schläfrigkeit oder
Benommenheit eines Fahrers zu erfassen, kann eine Umgebungsbedingung außerhalb
des Fahrzeugs nicht aus dem Gesichtsbild erfasst werden. Wenn der
Fahrer seinen Augenaufschlag verringert, ist es folglich schwierig,
zu bestimmen, ob die Verringerung des Augenaufschlags durch den
Einfall von Sonnenlicht oder die Schläfrigkeit des Fahrers
verursacht wird.
-
Es
ist folglich Aufgabe der vorliegenden Erfindung, eine Gesichtsbildaufnahmevorrichtung
bereitzustellen, die eine Umgebungsbedingung außerhalb
eines Fahrzeugs unterscheiden kann.
-
Gemäß einer
ersten Ausgestaltung der vorliegenden Erfindung wird eine Gesichtsbildaufnahmevorrichtung
für ein Fahrzeug bereitgestellt, die aufweist: eine Kamera,
die dazu ausgelegt ist, ein Gesichtsbild, das einem Bild eines Gesichts
eines Insassen des Fahrzeugs entspricht, wiederholt aufzunehmen;
einen Anstrahler, der dazu ausgelegt ist, das Gesicht des Insassen
anzustrahlen; eine Anstrahlsteuervorrichtung, die dazu ausgelegt
ist, das Anstrahllicht bezüglich (i) eines Schaltens zwischen einem
Ein- und Ausschalten eines Lichts und/oder (ii) einer Lichtmenge
beim Schalten eines Lichts zu steuern, um eine Abstimmung eines
Beleuchtungszustandes eines auf das Gesicht des Insassen gestrahlten
Lichts auszuführen; eine Bildaufnahmesteuervorrichtung,
die dazu ausgelegt ist, eine Aufnahmezeit zum Aufnehmen des Gesichtsbildes
in Synchronisation mit der Abstimmung des Beleuchtungszustandes zu
steuern; eine Differenzbilderzeugungsvorrichtung, die dazu ausgelegt
ist, ein Differenzbild zu erzeugen, das eine Helligkeitsdifferenz
zwischen einem hellen Gesichtsbild und einem Umgebungslicht-Gesichtsbild
anzeigt, wobei das helle Gesichtsbild in einem Beleuchtungszustand
von der Kamera aufgenommen wird, in welchem das Gesicht hauptsächlich
vom Licht des Anstrahlers angestrahlt wird, und das Umgebungslicht-Gesichtsbild
in einem Beleuchtungszustand von der Kamera aufgenommen wird, in
welchem das Gesicht hauptsächlich von einem Umgebungslicht
angestrahlt wird; und eine Bildausgabevorrichtung, die dazu ausgelegt
ist, das von der Differenzbilderzeugungsvorrichtung erzeugte Differenzbild
wiederholt auszugeben. Die Bildausgabevorrichtung weist eine Ausgabebedingungsbestimmungsvorrichtung
auf, die dazu ausgelegt ist, zu bestimmen, ob eine Bedingung zum
Ausgeben (i) des hellen Gesichtsbildes und/oder (ii) des Umgebungslicht-Gesichtsbildes
erfüllt ist. Die Bildausgabevorrichtung ist dann, wenn
bestimmt wird, dass die Bedingung erfüllt ist, dazu ausgelegt,
das wenigstens eine Gesichtsbild zusätzlich zum Differenzbild
auszugeben.
-
Gemäß einer
zweiten Ausgestaltung der vorliegenden Erfindung wird eine Gesichtsbildaufnahmevorrichtung
für ein Fahrzeug bereitgestellt, die aufweist: eine Kamera,
die dazu ausgelegt ist, ein Gesichtsbild, das einem Bild eines Gesichts
eines Insassen des Fahrzeugs entspricht, wiederholt aufzunehmen;
einen Anstrahler, der dazu ausgelegt ist, das Gesicht des Insassen
anzustrahlen; eine Anstrahlsteuervorrichtung, die dazu ausgelegt
ist, das Anstrahllicht bezüglich (i) eines Schattens zwischen einem
Ein- und Ausschalten eines Lichts und/oder (ii) einer Lichtmenge
beim Schalten eines Lichts zu steuern, um eine Abstimmung eines
Beleuchtungszustandes eines auf das Gesicht des Insassen gestrahlten
Lichts auszuführen; eine Bildaufnahmesteuervorrichtung,
die dazu ausgelegt ist, eine Aufnahmezeit zum Aufnehmen des Gesichtsbildes
in Synchronisation mit der Abstimmung des Beleuchtungszustandes zu
steuern; eine Differenzbilderzeugungsvorrichtung, die dazu ausgelegt
ist, ein Differenzbild zu erzeugen, das eine Helligkeitsdifferenz
zwischen einem hellen Gesichtsbild und einem Umgebungslicht-Gesichtsbild
anzeigt, wobei das helle Ge sichtsbild in einem Beleuchtungszustand
von der Kamera aufgenommen wird, in welchem das Gesicht hauptsächlich
vom Licht des Anstrahlers angestrahlt wird, und das Umgebungslicht-Gesichtsbild
in einem Beleuchtungszustand von der Kamera aufgenommen wird, in
welchem das Gesicht hauptsächlich von einem Umgebungslicht
angestrahlt wird; und eine Bildausgabevorrichtung, die dazu gelegt
ist, das von der Differenzbilderzeugungsvorrichtung erzeugte Differenzbild
wiederholt auszugeben. Die Bildausgabevorrichtung weist hierbei
eine Ausgabebedingungsbestimmungseinheit auf, die dazu ausgelegt
ist, zu bestimmen, ob eine Bedingung zum Ausgeben eines Helligkeitswertes
eines vorbestimmten Bereichs eines Gesichtsbildes (i) des hellen
Gesichtsbildes und/oder (ii) des Umgebungslicht-Gesichtsbildes erfüllt
ist. Die Bildausgabevorrichtung ist dann, wenn bestimmt wird, dass
die Bedingung erfüllt ist, dazu ausgelegt, den Helligkeitswert
zusätzlich zum Differenzbild auszugeben.
-
Die
obige und weitere Aufgaben, Eigenschaften und Vorteile der vorliegenden
Erfindung werden aus der nachfolgenden detaillierten Beschreibung,
die unter Bezugnahme auf die beigefügte Zeichnung gemacht
wurde, näher ersichtlich sein. In der Zeichnung zeigt/zeigen:
-
1 ein
Blockdiagramm zur Veranschaulichung eines Aufbaus einer Gesichtsbildaufnahmevorrichtung
gemäß verschiedenen Ausführungsformen
der vorliegenden Erfindung;
-
2 eine
Ansicht zur Veranschaulichung einer Anordnung einer Kamera und eines
Anstrahlers in einer Fahrgastzelle eines Fahrzeugs;
-
3 eine
Ansicht zur Veranschaulichung eines die Lage betreffendes Verhältnis
zwischen einer optischen Achse der Kamera und des Anstrahlers aus
der Sicht eines Fahrers;
-
4 ein
Zeitdiagramm zur Veranschaulichung einer Bildaufnahme durch die
Kamera, einer Beleuchtung durch den Anstrahler und einer Ausgabe
von Differenzbildern;
-
5A, 5B, 5C Beispiele
eines hellen Gesichtsbildes, eines Umgebungslicht-Gesichtsbildes
bzw. eines Differenzbildes, die bei Tag gewonnen werden;
-
5D, 5E, 5F Beispiele
eines hellen Gesichtsbildes, eines Umgebungslicht-Gesichtsbildes
bzw. eines Differenzbildes, die bei Nacht gewonnen werden;
-
6 ein
Ablaufdiagramm zur Veranschaulichung eines Differenzbilderzeugungsprozesses
gemäß einer ersten Ausführungsform der
vorliegenden Erfindung;
-
7 Änderungen
eines Helligkeitswertes entlang einer vertikalen und entlang einer
horizontalen Achse, die durch einen Gesichtsbereich eines Fahrers
in einem hellen Gesichtsbild verlaufen; und
-
8 ein
Ablaufdiagramm zur Veranschaulichung eines Differenzbilderzeugungsprozesses
gemäß einer zweiten Ausführungsform der
vorliegenden Erfindung.
-
Nachstehend
werden die Ausführungsformen der vorliegenden Erfindung
unter Bezugnahme auf die beigefügte Zeichnung beschrieben.
Die vorliegenden Ausführungsformen zeigen Fälle
auf, bei denen ein Gesichtsbild eines Fahrers in einem Fahrzeug
unter Verwendung einer Gesichtsbildaufnahmevorrichtung aufgenommen
wird.
-
(Erste Ausführungsform)
-
1 zeigt
ein Blockdiagramm eines Aufbaus einer Gesichtsbildaufnahmevorrichtung
gemäß verschiedenen Ausführungsformen
der vorliegenden Erfindung. Die Gesichtsbildaufnahmevorrichtung weist,
wie in 1 gezeigt, eine Kamera 10, eine Kameravorrichtung 20,
die mit der Kamera 10 kombiniert ist, eine Bild-ECU (elektronische
Steuereinheit) 30, eine Anstrahlsteuerschaltung oder Anstrahlsteuervorrichtung 40 und
einen Anstrahler 50 auf.
-
Die
Kamera 10 wird, wie in 2 gezeigt, dazu
verwendet, ein Bild eines Gesichts (Gesichtsbild) eines Fahrers
oder Insassen in einer Fahrgastzelle des Fahrzeugs aufzunehmen.
Die Kamera 10 ist in der Nähe eines Armaturenbretts
in der Fahrgastzelle des Fahrzeugs angeordnet. Die Kamera 10 nutzt
ein Aufnahmemittel, das ein Bild mit hoher Geschwindigkeit aufnehmen
kann. Zwischen serielle Bildaufnahmezeitperioden, die jeweils 300 μs
betragen, kann, wie in 4 gezeigt, ein Aufnahmezeitintervall
von ungefähr 30 μs eingefügt werden.
-
Die
Kameravorrichtung 20 weist einen Bildspeicher 21 und
eine Signalverarbeitungsschaltung 22 auf. Der Bildspeicher 21 dient
als Speichervorrichtung zur Speicherung von Bildinformation der
von der Kamera 10 aufgenommenen Bilder. Die Signalverarbeitungsschaltung 22 liest
die im Bildspeicher 21 gespeicherte Bildinformation und
dient als Differenzbilderzeugungsvorrichtung zum Ausführen
eines nachstehend noch beschriebenen Differenzbilderzeugungsprozesses.
Die Signalverarbeitungsschaltung 22 dient ferner als Bildausgabevorrichtung
zum Ausgeben der erzeugten Bildinformation, wie beispielsweise eines
Differenzbildes, an die Bild-ECU 30.
-
Die
Bild-ECU 30 weist eine Bildverarbeitungsschaltung oder
Bildverarbeitungsvorrichtung 31 und eine Bildaufnahmesteuerschaltung
oder Bildaufnahmesteuervorrichtung 32 auf. Die Bildverarbeitungsschaltung 31 empfängt
die von der Kameravorrichtung 20 ausgegebene Bildinformation.
Die Bildverarbeitungsschaltung 31 erfasst einen Gesichtsbereich
oder Gesichtsabschnitt des Fahrers aus der empfangenen Bildinformation
oder führt eine Bildverarbeitung zur Erfassung einer Blickrichtung
des Fahrers aus. Die Bildaufnahmesteuerschaltung 32 steuert
einen Bildaufnahmezeitpunkt der Kamera 10, den sie mit
einer Abstimmung eines Beleuchtungszustandes durch die Anstrahlsteuerschaltung 40 synchronisiert,
und steuert ferner eine Belichtungszeit oder eine Ausgangsverstärkung
usw. der Kamera 10.
-
Die
Anstrahlsteuerschaltung 40 steuert (i) ein Schalten zwischen
einem Ein- und Ausschalten des Anstrahlers 50 oder (ii)
eine Menge (oder Intensität) des Lichts, wenn der Anstrahler 50 eingeschaltet
wird. Der Anstrahler 50 ist, wie in den 2 und 3 gezeigt,
benachbart zur Kamera 10 angeordnet, wobei eine Längsrichtung
des Anstrahlers 50 in vertikaler Richtung verläuft.
Die Anstrahlsteuerschaltung 40 stimmt den Beleuchtungszustand
des auf das Gesicht des Fahrers gestrahlten Lichts in Synchronisation
mit einer Aufnahmezeit der Kamera 10 ab.
-
Der
Anstrahler 50 weist, wie in 3 gezeigt,
eine Mehrzahl von Beleuchtungsquellen auf, die Infrarotlicht oder
Nahinfrarotlicht mit einer Mittenwellenlänge von ungefähr
850 bis 950 nm abstrahlen können. Die Mehrzahl von Beleuchtungsquellen
ist entlang der Längsrichtung oder der vertikalen Richtung
des Gesichts des Fahrers angeordnet und beleuchtet das Gesicht des
Fahrers.
-
Nachstehend
wird ein Betrieb der Gesichtsbildaufnahmevorrichtung beschrieben. 4 zeigt ein
Zeitdiagramm (i) einer Bildaufnahmezeit der Kamera 10,
(ii) einer Beleuchtungszeit des Anstrahlers 50 und (iii)
einer Ausgabezeit für die aus den von der Kamera 10 aufgenommenen
Gesichtsbildern erzeugten Differenzbilder. Die Gesichtsbildaufnahmevorrichtung
nimmt zunächst ein helles Gesichtsbild px in der 5A oder 5D unter
Verwendung der Kamera 10 auf. Das helle Gesichtsbild px
wird in einem Beleuchtungszustand aufgenommen, in dem Licht, das
auf das Gesicht des Fahrers gestrahlt wird, hauptsächlich
Licht des Anstrahlers 50 ist. Hierbei wird in Wirklichkeit
nicht nur das Licht des Anstrahlers 50, sondern ebenso
Umgebungslicht (Sonnenlicht, reflektiertes Sonnenlicht usw.) um
den Fahrer herum auf das Gesicht des Fahrers gestrahlt. Die Bildaufnahmezeit
oder Bildaufnahmezeitspanne für das Gesichtsbild px ist
auf ungefähr 300 μs gesetzt. Nach Abschluss der
Bildaufnahme des hellen Gesichtsbildes px wird die Information des
aufgenommenen Bildes temporär im Bildspeicher 21 gespeichert.
-
Ungefähr 30 μs
später nimmt die Gesichtsbildaufnahmevorrichtung mit Hilfe
der Kamera 10 ein Umgebungslicht-Gesichtsbild pz auf. Das
Umgebungslicht-Gesichtsbild pz in der 5B oder 5E wird
in einem Beleuchtungszustand aufgenommen, in dem Licht, das auf
das Gesicht des Fahrers gestrahlt wird bzw. auf das Gesicht des
Fahrers scheint, hauptsächlich Umgebungslicht aus einer Umgebung
des Fahrers ist. Hierbei kann gleichzeitig Licht vom Anstrahler 50 abgestrahlt
werden, wobei die Lichtmenge derart abgestimmt wird, dass sie auf einen
sehr geringen Pegel reduziert wird. Die Aufnahmezeitspanne für
das Umgebungslicht-Gesichtsbild pz ist hierbei auf ungefähr
300 μs gesetzt, was der Zeitspanne für das helle
Gesichtsbild px entspricht. Nach Abschluss der Bildaufnahme des
Umgebungslicht-Gesichtsbildes pz wird die Information des aufgenommenen
Bildes temporär im Bildspeicher 21 gespeichert.
-
Die
Kamera 10 nutzt ferner ein Bildaufnahmemittel, das ein
Bild kontinuierlich mit hoher Geschwindigkeit aufnehmen kann. Folglich
werden die Gesichtsbilder selbst dann, wenn sie gemäß obiger Beschreibung
in einem Zeitmultiplexbetrieb aufgenommen werden, nicht durch eine
die Lage betreffende Änderung des Fahrers für
das entsprechende Zeitintervall zwischen den Aufnahmen beeinflusst.
Eine die Lage betreffende Änderung kann durch eine Bewegung
des Fahrers verursacht werden, die spontan oder durch eine Erschütterung
des Fahrzeugs bedingt auftritt. Ferner ist der Zeitabstand zwischen
den Aufnahmezeiten für das helle Gesichtsbild px und das
Umgebungslicht-Gesichtsbild pz verhältnismäßig
kurz. Folglich können beide Bilder als gleichzeitig aufgenommen
betrachtet werden, so dass eine Änderung des Umgebungslichts
für den Zeitabstand für gewöhnlich vernachlässigt
werden kann.
-
Auf
diese Weise werden das helle Gesichtsbild px und das Umgebungslicht-Gesichtsbild
pz aufgenommen. Anschließend erzeugt die Signalverarbeitungsschaltung 22 ein
Differenzbild, indem sie eine Helligkeitsdifferenz unter Verwendung
der Bildinformation des hellen Gesichtsbildes px und des Umgebungslicht-Gesichtsbildes
pz berechnet, die beide temporär im Bildspeicher 21 gespeichert
sind. Dieser Vorgang kann als Differenzbilderzeugungsprozess bezeichnet
werden.
-
Die
Differenz wird beispielsweise bezüglich jeweils entsprechender
Pixelpositionen des hellen Gesichtsbildes px und des Umgebungslicht-Gesichtsbildes
pz berechnet, indem der Helligkeitswert des Umgebungslicht-Gesichtsbildes
pz von dem des hellen Gesichtsbildes px abgezogen wird. Nachstehend
wird die Erzeugung des Differenzbildes näher beschrieben.
-
Das
helle Gesichtsbild px ist ein Gesichtsbild, das aufgenommen wird,
wenn der Hauptanteil des auf das Gesicht des Fahrers gestrahlten
oder einfallenden Lichts Licht ist, das vom Anstrahler 50 abgestrahlt
wird. Folglich ist der Helligkeitswert im Gesichtsbereich des Fahrers,
den das Licht des Anstrahlers 50 vollständig erreicht,
hoch. Demgegenüber erreicht das Licht des Anstrahlers 50 einen
Hintergrundbereich, welcher den Gesichtsbereich des Fahrers umgibt,
verhältnismäßig schlecht. Der Helligkeitswert
im Hintergrundbereich ist verhältnismäßig gering,
wenn das reflektierte Bild des Hintergrundbereichs von der Kamera 10 aufgenommen
wird.
-
Ferner
ist das Umgebungslicht-Gesichtsbild pz ein Gesichtsbild, das aufgenommen
wird, wenn der Hauptanteil des Lichts, welches auf das Gesicht des
Fahrers fällt, Umgebungslicht ist. Folglich ist der Helligkeitswert
im Gesichtsbereich des Fahrers im Umgebungslicht-Gesichtsbild pz
verglichen mit dem des hellen Gesichtsbildes px gering. Bezüglich
des Hintergrundbereichs oder eines Objekts, das weiter vom Anstrahler 50 als
der Gesichtsbereich vorhanden ist, wird der Helligkeitswert nicht
sonderlich durch den Anstrahler 50 beeinflusst. Folglich
weisen der Gesichtsbereich und der Hintergrundbereich verhältnismäßig ähnliche
Helligkeitswerte auf.
-
Ferner
kann Sonnenlicht, wie beispielsweises Licht der Nachmittagssonne,
in die Fahrgastzelle des Fahrzeugs und auf das Gesicht des Fahrers
fallen. In solch einem Fall ist der Helligkeitswert bei einem Vergleich
zwischen dem hellen Gesichtsbild px und dem Umgebungslicht-Gesichtsbild
pz im hellen Gesichtsbild px im Gesichtsbereich des Fahrers, der vom
Anstrahler 50 beleuchtet wird, deutlich höher. Folglich
kann, wie in 5C gezeigt, ein Differenzbild
(px – pz) erzeugt werden, das einen Unterschied des Helligkeitswertes
durch die Berechnung einer Differenz hervorhebt, indem der Helligkeitswert
des Umgebungslicht-Gesichtsbildes pz von dem des hellen Gesichtsbildes
px abgezogen wird. Hierdurch kann ein Differenzbild (px – pz)
erzeugt werden, aus welchem der Einfluss von Umgebungslicht (Störlicht),
wie beispielsweise Sonnenlicht, entfernt ist.
-
Sobald
das Differenzbild (px – pz) erzeugt ist, gibt die Signalverarbeitungsschaltung 22 die
Bildinformation, wie in 4 gezeigt, alle 33 μs
an die Bild-ECU 30. In solch einem Fall wird bei der vorliegenden
Ausführungsform jedes Mal dann, wenn die Anzahl von Malen
einer Ausgabe des Differenzbildes (px – pz) eine vorbestimmte
Anzahl von Malen erreicht, ein helles Gesichtsbild px aufgenommen.
Das aufgenommene helle Gesichtsbild px, aus welchem der Einfluss
von Störlicht nicht entfernt wurde, wird anschließend
an die Bild-ECU 30 gegeben. Folglich kann in der Bild-ECU 30 die
Umgebungsbedingung (Tag oder Nacht) außerhalb des Fahrzeugs
aus dem hellen Gesichtsbild, aus welchem der Einfluss von Störlicht
nicht entfernt wurde, bestimmt werden.
-
Genauer
gesagt, es kann ein Fall auftreten, bei welchem das helle Gesichtsbild
px einen hohen Helligkeitswert aufweist, wie beispielsweise dann, wenn
ein integrier ter Bildwert über einem Schwellenwert liegt.
In solch einem Fall wird angenommen, dass das Sonnenlicht direkt
in die Fahrgastzelle des Fahrzeugs fällt oder in die Fahrgastzelle
des Fahrzeugs reflektiert wird oder Licht von Scheinwerfern eines
entgegenkommenden Fahrzeugs in die Fahrgastzelle fällt,
so dass bestimmt werden kann, dass es Tag ist oder eine hohe Lichtmenge
in die Fahrgastzelle fällt. Demgegenüber kann
ein Fall eintreten, bei welchem (i) der andere Bereich, der sich
vom bestimmten Bereich, wie beispielsweise dem Gesichtsbereich,
unterscheidet, im hellen Gesichtsbild oder (ii) das gesamte Umgebungslicht-Gesichtsbild
annähernd gleichförmig dunkel ist. D. h., es kann
ein Fall eintreten, bei dem ein sehr heller lokaler Bereich nicht
vorhanden ist und ein integrierter Bildwert unterhalb des Schwellenwertes
liegt. In diesem Fall kann bestimmt werden, dass es Nacht ist oder
dass sich das Fahrzeug in einem dunklen Parkhaus oder in einem Tunnel
befindet.
-
Nachstehend
wird der von der Signalverarbeitungsschaltung 22 ausgeführte
Differenzbilderzeugungsprozess zur Erzeugung eines Differenzbildes
unter Bezugnahme auf das in der 6 gezeigte Ablaufdiagramm
beschrieben. Der Prozess erfolgt, nachdem die Bildaufnahmesteuerschaltung 32 gestartet
wurde. In Schritt S2 wird ein Zähler, welcher die Anzahl
von Malen einer Ausgabe des Differenzbildes (px – pz) zählt,
gestartet.
-
In
Schritt S3 wird ein helles Gesichtsbild px aufgenommen und die Information
des aufgenommenen Bildes im Bildspeicher 21 gespeichert.
In Schritt S4 wird ein Umgebungslicht-Gesichtsbild pz aufgenommen
und die Information des aufgenommenen Bildes im Bildspeicher 21 gespeichert.
In Schritt S5 wird ein Differenzbild (px – pz) erzeugt
oder berechnet, indem eine Differenz des Helligkeitswertes gewonnen
wird, indem der Helligkeitswert des Umgebungslicht-Gesichtsbildes
pz vom Helligkeitswert des hellen Gesichtsbildes px abgezogen wird,
und zwar bezüglich der entsprechenden Pixelpositionen dieser.
-
In
Schritt S6 wird das erzeugte Differenzbild (px – pz) an
die Bild-ECU 30 gegeben. In Schritt S7 wird der Bildspeicher 21 zurückgesetzt,
wodurch die gespeicherte Bildinformation gelöscht wird.
In Schritt S8 wird der Zählwert des Zählers anschließend
um einen Zählwert inkrementiert. In Schritt S9 wird bestimmt,
ob der Zählwert des Zählers die vorbestimmte Anzahl
von Malen erreicht hat oder nicht. Wenn die Bestimmung in Schritt
S9 positiv (JA) ist, schreitet der Ablauf zu Schritt S10 voran.
Wenn die Bestimmung in Schritt S9 negativ (NEIN) ist, kehrt die
Verarbeitung zu Schritt S3 zurück, um den obigen Ablauf
zu wiederholen.
-
In
Schritt S10 wird ein helles Gesichtsbild px auf die gleiche Weise
wie in Schritt S3 aufgenommen und die Information des aufgenommenen
Bildes im Bildspeicher 21 gespeichert. In Schritt S11 wird
die Bildinformation des aufgenommenen hellen Gesichtsbildes px an
die Bild-ECU 30 gegeben. In Schritt S12 wird der Zählwert
des Zählers zurückgesetzt und der Prozess zunächst
beendet. Anschließend wird der Prozess von Schritt S2 an
wiederholt, wenn die Bildaufnahmesteuerschaltung 32 eingeschaltet
wird.
-
Gemäß obiger
Beschreibung führt die Gesichtsbildaufnahmevorrichtung
wiederholt eine Ausgabe eines Differenzbildes (px – pz)
an die Bild-ECU 30 aus. Wenn die Anzahl von Malen einer
Ausgabe eine vorbestimmte Anzahl von Malen erreicht, wird ein aufgenommenes
helles Gesichtsbild px, aus welchem der Einfluss von Störlicht
nicht entfernt wurde, an die Bild-ECU 30 gegeben. Auf diese
Weise kann die Bild-ECU 30 eine Umgebungsbedingung (Tag, Nacht
usw.) außerhalb des Fahrzeugs auf der Grundlage des zusätzlich
zu den Differenzbildern (px – pz) ausgegebenen hellen Gesichtsbildes
px bestimmen. Folglich dient die Signalverarbeitungsschaltung 22 als
Ausgabebedingungsbestimmungsmittel oder als Ausgabebedingungsbestimmungseinheit.
-
(Ausgestaltung 1)
-
Bei
der vorliegenden ersten Ausführungsform wird dann, wenn
die Anzahl von Malen einer Ausgabe des Differenzbildes (px – pz)
eine vorbestimmte Anzahl von Malen erreicht, ein helles Gesichtsbild
px aufgenommen. Stattdessen kann ein Umgebungslicht-Gesichtsbild
pz aufgenommen und an die Bild-ECU 30 gegeben werden. Gleich
dem hellen Gesichtsbild px ist das Umgebungslicht-Gesichtsbild pz
ein Bild, aus welchem der Einfluss von Störlicht nicht
entfernt wurde. Folglich kann eine Umgebungsbedingung (Tag, Nacht
usw.) außerhalb des Fahrzeugs ebenso aus dem Umgebungslicht-Gesichtsbild
pz bestimmt werden.
-
(Ausgestaltung 2)
-
Bei
der ersten Ausführungsform kann die Bild-ECU 30 eine
Umgebungsbedingung (Tag, Nacht usw.) außerhalb des Fahrzeugs
auf der Grundlage des zusätzlich zum Differenzbild (px – pz)
ausgegebenen hellen Gesichtsbildes px bestimmen. Ferner kann auf
der Grundlage des Differenzbildes (px – pz) und des hellen
Gesichtsbildes px bestimmt werden, ob der Fahrer des Fahrzeugs schläfrig
ist oder nicht. In solch einem Fall kann die Bild-ECU 30 als
Schläfrigkeitsbestimmungsmittel oder als Schläfrigkeitsbestimmungseinheit
dienen.
-
Gemäß obiger
Beschreibung kann bestimmt werden, dass es (außerhalb des
Fahrzeugs) Tag ist oder externes Licht einfällt, wenn ein
bestimmter Bereich im hellen Gesichtsbild oder im Umgebungslicht-Gesichtsbild
heller als ein anderer Bereich ist. In solch einem Fall kann dann,
wenn aus dem zu diesem Zeitpunkt erzeugten Differenzbild (px – pz)
ersichtlich wird, dass der Fahrer seinen Augenaufschlag verringert,
bestimmt werden, dass der Fahrer seinen Augenaufschlag verringert
(seine Augen zusammenkneift), da er durch das von außerhalb
in die Fahrgastzelle des Fahrzeugs fallende Licht, wie beispielsweise
das Sonnenlicht oder Licht von Scheinwerfern eines entgegenkommenden
Fahrzeugs, geblendet wird.
-
Wenn
demgegenüber (i) der andere Bereich, der sich vom bestimmten
Bereich, wie beispielsweise dem Gesichtsbereich, unterscheidet,
im hellen Gesichtsbild px oder (ii) das gesamte Umgebungslicht-Gesichtsbild
pz annähernd gleichförmig dunkel ist, kann bestimmt
werden, dass es Nacht ist oder sich das Fahrzeug in einem dunklen
Parkhaus oder in einem Tunnel befindet. Wenn aus dem zu diesem Zeitpunkt
erzeugten Differenzbild (px – pz) deutlich ersichtlich
wird, dass der Fahrer seinen Augenaufschlag verringert, kann bestimmt
werden, dass der Fahrer seinen Augenaufschlag verringert, da er schläfrig
ist.
-
Ferner
kann, gleich der ersten Ausgestaltung, auf der Grundlage des Differenzbildes
(px – pz) und des Umgebungslicht-Gesichtsbildes pz bestimmt werden,
ob der Fahrer schläfrig ist oder nicht, wenn ein Umgebungslicht-Gesichtsbild
pz erfasst und an die Bild-ECU 30 gegeben wird.
-
(Ausgestaltung 3)
-
Bei
der ersten Ausführungsform wird in Schritt S9 der 6 bestimmt,
ob eine Bedingung erfüllt wird, bei welcher die Anzahl
von Malen einer Ausgabe des Differenzbildes (px – pz) eine
vorbestimmte Anzahl von Malen erreicht. Wenn die Bedingung erfüllt
wird, wird ein helles Gesichtsbild px aufgenommen und an die Bild-ECU 30 gegeben.
Alternativ kann beispielsweise dann, wenn eine Bedingung erfüllt
wird, bei der ein Zeitpunkt zum Ausgeben eines Differenzbildes (px – pz)
erreicht wird, ein helles Gesichtsbild px und/oder ein Umgebungslicht-Gesichtsbild
pz aufgenommen und an die Bild-ECU 30 gegeben werden. D.
h., gleichzeitig zur Ausgabe eines Differenzbildes (px – pz)
kann stets ein helles Gesichtsbild px und/oder ein Umgebungslicht-Gesichtsbild
aufgenommen und an die Bild-ECU 30 gegeben werden.
-
Alternativ
kann ferner eine andere Bedingung festgelegt werden, bei der bestimmt
wird, ob ein Ausgabebefehl zum Ausgeben eines Differenzbildes (px – pz)
von der als Eingabevorrichtung zum Empfangen des Differenzbildes
(px – pz) dienenden Bild-ECU 30 an die Kameravorrichtung 20 gegeben wurde.
Wenn solch eine Bedingung erfüllt wird, kann ein helles
Gesichtsbild px und/oder ein Umgebungslicht-Gesichtsbild pz aufgenommen
und an die Bild-ECU 30 gegeben werden. Hierdurch kann bestimmt
werden, ob Bildinformationen (i) eines hellen Gesichtsbildes und/oder
(ii) eines Umgebungslicht-Gesichtsbildes, aus denen der Einfluss
von Störlicht nicht entfernt wurde, auszugeben ist/sind.
-
(Zweite Ausführungsform)
-
Die
zweite Ausführungsform weist nahezu den gleichen Aufbau
wie die erste Ausführungsform auf. Nachstehend wird auf
die Unterschiede zur ersten Ausführungsform näher
eingegangen. Bei der ersten Ausführungsform gibt die Gesichtsbildaufnahmevorrichtung
zusätzlich zu einem Differenzbild (px – pz) ein
helles Gesichtsbild, aus welchem der Einfluss von Störlicht
nicht entfernt wurde, an die Bild-ECU 30 aus.
-
Die
zweite Ausführungsform unterscheidet sich dahingehend von
der ersten Ausführungsform, dass die Gesichtsbildaufnahmevorrichtung
zusätzlich zu einem Differenzbild (px – pz) einen
Helligkeitswert in einem vorbestimmten Bereich innerhalb eines hellen
Gesichtsbildes px anstelle des hellen Gesichtsbildes px selbst ausgibt.
Der vorbestimmte Bereich weist (i) die vertikale und/oder die horizontale Achse,
die durch einen das Gesicht des Fahrers aufweisenden Gesichtsbereich
verlaufen, oder (ii) eine vorbestimmte Mehrzahl von Punkten im hellen
Gesichtsbild px auf.
-
Wenn
ein bestimmter Bereich im hellen Gesichtsbild px oder im Umgebungslicht-Gesichtsbild pz
heller als ein anderer Bereich im hellen Gesichtsbild px oder im
Umgebungslicht-Gesichtsbild pz ist, ist der Helligkeitswert in dem
bestimmten Bereich hoch und in dem anderen Bereich niedrig. Auf
diese Weise kann eine Änderung des Helligkeitswertes entlang
der vertikalen oder horizontalen Achse, die durch beide der Bereiche
verlaufen, erfasst werden. Folglich kann angenommen werden, dass
Sonnenlicht oder externes Licht in die Fahrgastzelle des Fahrzeugs
fällt. Auf diese Weise wird bestimmt, dass es Tag ist oder
dass externes Licht in die Fahrgastzelle des Fahrzeugs fällt.
-
Wenn
demgegenüber (i) der andere Bereich, der sich von dem bestimmten
Bereich, wie beispielsweise dem Gesichtsbereich, unterscheidet,
in dem hellen Gesichtsbild px oder (ii) das gesamte Umgebungslicht-Gesichtsbild
pz annähernd gleichförmig dunkel erscheint, kann
bestimmt werden, dass es Nacht ist oder dass sich das Fahrzeug in
einem dunklen Parkhaus oder in einem Tunnel befindet. Folglich kann
die Umgebungsbedingung (Tag, Nacht usw.) außerhalb des
Fahrzeugs aus dem Helligkeitswert entlang der vertikalen und/oder
horizontalen Achse, die beide durch einen vorbestimmten Bereich
verlaufen und entlang derer der Einfluss von Störlicht
nicht entfernt wurde, bestimmt werden.
-
7 zeigt
ein helles Gesichtsbild px, das zu einem Zeitpunkt aufgenommen wurde,
an dem Sonnenlicht in die Fahrgastzelle eines Fahrzeugs und auf einen
Teil des Gesichts des Fahrers fällt. In diesem Zustand
keine direkten Lichteinstrahlung auf das Gesicht kommt es bedingt
durch eine Gesichtsform oder Falten oder vom Strahler reflektiertes
Licht zu einer Änderung in der Helligkeit oder einem Hell-/Dunkel-Schema.
Demgegenüber kommt es in einem Zustand direkter Lichteinstrahlung
zu einer deutlicheren Änderung oder einem deutlicheren
Anstieg in der Helligkeit im hellen Gesichtsbild px. Folglich kann
aus den Helligkeitswerten entlang der verti kalen und horizontalen
Achse, die durch den das Gesicht des Fahrers aufweisenden Gesichtsbereich
verlaufen, bestimmt werden, dass es (außerhalb des Fahrzeugs) Tag
ist oder externes Licht in die Fahrgastzelle des Fahrzeugs fällt.
Demgegenüber kann dann, wenn entlang der obigen Achse keine
Helligkeitsänderung auftritt, bestimmt werden, dass es
Nacht ist oder dass sich das Fahrzeug in einem dunklen Parkhaus
oder in einem Tunnel befindet.
-
Auf
diese Weise kann eine Umgebungsbedingung (Tag, Nacht usw.) außerhalb
des Fahrzeugs auf der Grundlage des Helligkeitswertes entlang der vertikalen
und/oder horizontalen Achse, die durch den das Gesicht des Fahrers
aufweisenden Gesichtsbereich im hellen Gesichtsbild px verlaufen, aus
welchem der Einfluss von Störlicht nicht entfernt wurde
und das zusätzlich zum Differenzbild (px – pz) ausgegeben
wird, bestimmt werden.
-
Um
auf einfache Weise zu bestimmen, ob Sonnenlicht auf das Gesicht
des Fahrers fällt, kann die vertikale und/oder horizontale
Achse derart ausgelegt sein, dass sie durch einen das Gesicht des Fahrers
aufweisenden Gesichtsbereich verlauft. Ferner kann solch eine Achse
dazu ausgelegt sein, durch die Mitte des Gesichtsbereichs zu verlaufen. Dies
liegt daran, dass der Fahrer seinen Augenaufschlag dann, wenn Sonnenlicht,
das in die Fahrgastzelle des Fahrzeugs fällt, dem Gesicht
des Fahrers näher kommt, mehr verringert bzw. seine Augen mehr
zusammenkneift.
-
Ferner
ist der Helligkeitswert nicht auf diejenigen Helligkeitswerte beschränkt,
die entlang der vertikalen und/oder horizontalen Achse, die durch den
das Gesicht des Fahrers aufweisenden Gesichtsbereich im hellen Gesichtsbild
px verlaufen, liegen. Der Helligkeitswert kann alternativ Helligkeitswerte
an einer Mehrzahl vorbestimmter Punkte (Pixel) im das Gesicht des
Fahrers aufweisenden bzw. aufnehmenden Gesichtsbereich umfassen.
-
8 zeigt
einen Differenzbilderzeugungsprozess in der Gesichtsbildaufnahmevorrichtung
gemäß der zweiten Ausführungsform. Die 8 weist zusätzlich
zum Prozess in der 6 den Schritt S101 auf. In Schritt
S101 wird der Helligkeitswert entlang der vertikalen und/oder horizontalen
Achse, die durch den das Gesicht des Fahrers aufweisenden Gesichtsbereich
im hellen Gesichtsbild px verlaufen, extrahiert. In Schritt S11
wird der extrahierte Helligkeitswert an die Bild-ECU 30 gegeben.
-
Ferner
ist der das Gesicht des Fahrers aufweisende Gesichtsbereich dann,
wenn der Schritt S101 das erste Mal ausgeführt wird, noch
nicht bestimmt worden. Folglich wird der Helligkeitswert entlang
der vertikalen und/oder horizontalen Achse, die durch die Mitte
des hellen Gesichtsbildes px verlaufen, extrahiert. In den folgenden
auf den ersten Prozess folgenden Prozessen wird die durch den Gesichtsbereich
verlaufende vertikale Achse und/oder die durch den Gesichtsbereich
verlaufende horizontale Achse auf der Grundlage der von der Bild-ECU 30 erfassten
Information bezüglich des Gesichtsbereichs bestimmt. Anschließend
wird der Helligkeitswert entlang der bestimmten Achse extrahiert.
-
(Ausgestaltung 4)
-
Bei
der zweiten Ausführungsform wird jedes Mal dann, wenn die
Anzahl von Malen einer Ausgabe des Differenzbildes (px – pz)
eine vorbestimmte Anzahl von Malen erreicht, ein helles Gesichtsbild
px aufgenommen. Alternativ kann ein Umgebungslicht-Gesichtsbild
pz aufgenommen und der Helligkeitswert entlang der vertikalen und/oder
horizontalen Achse, die durch den Gesichtsbereich des Gesichts des
Fahrers verlaufen, an die Bild-ECU 30 gegeben werden. Gleich
dem hellen Gesichtsbild px ist das Umgebungslicht-Gesichtsbild pz
ein Bild, aus welchem der Einfluss von Störlicht nicht
entfernt wurde. Folglich kann eine Umgebungsbedingung (Tag, Nacht
usw.) außerhalb des Fahrzeugs aus dem Umgebungslicht-Gesichtsbild
pz bestimmt werden.
-
(Ausgestaltung 5)
-
In
der Bild-ECU 30 der zweiten Ausführungsform kann
eine Umgebungsbedingung (Tag, Nacht usw.) außerhalb des
Fahrzeugs auf der Grundlage des Helligkeitswertes entlang der vertikalen
und/oder horizontalen Achse, die durch den das Gesicht des Fahrers
aufweisenden Gesichtsbereich im hellen Gesichtsbild px verlaufen,
das zusätzlich zum Differenzbild (px – pz) ausgegeben
wird, bestimmt werden. Ferner kann auf der Grundlage des Differenzbildes (px – pz)
und des Helligkeitswertes ent lang der vertikalen und/oder horizontalen
Achse, die durch den das Gesicht des Fahrers aufweisenden Gesichtsbereich
im hellen Gesichtsbild px verlaufen, bestimmt werden, ob der Fahrer
schläfrig ist oder nicht.
-
Gemäß obiger
Beschreibung kann dann, wenn erfasst wird, dass eine Änderung
des Helligkeitswertes entlang der vertikalen und/oder horizontalen
Achse, die durch den das Gesicht des Fahrers aufweisenden Gesichtsbereich
im hellen Gesichtsbild px oder im Umgebungslicht-Gesichtsbild pz
verlaufen, über einem Schwellenwert liegt, bestimmt werden,
dass es (außerhalb des Fahrzeugs) Tag ist. Dies liegt daran,
dass dann, wenn es aus dem zu diesem Zeitpunkt erzeugten Differenzbild
(px – pz) deutlich ersichtlich wird, dass der Fahrer seinen
Augenaufschlag verringert, bestimmt werden kann, dass der Fahrer
seinen Augenaufschlag verringert bzw. seine Augen zusammenkneift,
da Sonnenlicht in die Fahrgastzelle des Fahrzeugs fällt.
-
Wenn
demgegenüber erfasst wird, dass eine Änderung
des Helligkeitswertes entlang der vertikalen und/oder horizontalen
Achse, die durch den das Gesicht des Fahrers aufweisenden Gesichtsbereich im
hellen Gesichtsbild px oder im Umgebungslicht-Gesichtsbild pz verlaufen,
nicht über dem Schwellenwert liegt, wird bestimmt, dass
es Nacht ist. Dies liegt daran, dass dann, wenn es aus dem zu diesem
Zeitpunkt erzeugten Differenzbild (px – pz) deutlich ersichtlich
wird, dass der Fahrer seinen Augenaufschlag verringert, bestimmt
werden kann, dass der Fahrer seinen Augenaufschlag verringert, da
er schläfrig ist.
-
(Ausgestaltung 6)
-
Bei
der zweiten Ausführungsform wird in Schritt S9 der 8 eine
Bedingung festgelegt, dass die Anzahl von Malen einer Ausgabe des
Differenzbildes (px – pz) eine vorbestimmte Anzahl von
Malen erreicht. Wenn solch Bedingung erfüllt wird, wird
ein helles Gesichtsbild px aufgenommen und der Helligkeitswert entlang
der vertikalen und/oder horizontalen Achse, die durch den Gesichtsbereich
des Gesichts des Fahrers verlaufen, an die Bild-ECU 30 gegeben.
Alternativ kann eine andere Bedingung festgelegt werden. Es kann
beispielsweise dann, wenn eine Bedingung erfüllt wird,
dass ein Zeitpunkt zum Ausgeben eines Differenzbildes (px – pz)
erreicht wird, ein helles Gesichtsbild px und/oder ein Umgebungslicht-Gesichtsbild
pz aufge nommen werden. Anschließend kann der Helligkeitswert
entlang der vertikalen und/oder horizontalen Achse, die durch den
Gesichtsbereich des Gesichts des Fahrers verlaufen, in dem wenigstens
einen aufgenommenen Gesichtsbild an die Bild-ECU 30 gegeben
werden. D. h., es kann gleichzeitig zur Ausgabe eines Differenzbildes
(px – pz) stets ein helles Gesichtsbildes px und/oder ein
Umgebungslicht-Gesichtsbild pz aufgenommen werden. In dem wenigstens
einen aufgenommenen Gesichtsbild kann der Helligkeitswert entlang
der vertikalen und/oder horizontalen Achse, die durch den Gesichtsbereich
des Gesichts des Fahrers verlaufen, an die Bild-ECU 30 gegeben
werden.
-
Ferner
kann eine weitere Bedingung festgelegt werden, das ein Befehl zum
Ausgeben eines Differenzbildes (px – pz) von der Bild-ECU 30,
die als Eingabevorrichtung zum Empfangen des Differenzbildes (px – pz)
dient, ausgegeben wird. Wenn solch eine Bedingung erfüllt
wird, kann ein helles Gesichtsbild px und/oder ein Umgebungslicht-Gesichtsbild
pz aufgenommen und der Helligkeitswert entlang der vertikalen und/oder
horizontalen Achse, die durch den Gesichtsbereich des Gesichts des
Fahrers verlaufen, in dem wenigstens einen aufgenommenen Gesichtsbild
an die Bild-ECU 30 gegeben werden. Hierdurch kann bestimmt
werden, ob der Helligkeitswert entlang der vertikalen und/oder horizontalen Achse,
die durch den das Gesicht des Fahrers aufweisenden Gesichtsbereich
verlaufen, in dem hellen Gesichtsbild und/oder dem Umgebungslicht-Gesichtsbild,
aus denen der Einfluss von Störlicht nicht entfernt wurde,
auszugeben ist.
-
Die
vorstehend beschriebenen Prozesse, Schritte oder Mittel können
einzeln oder in Kombination als Programmeinheit (z. B. als Unterprogramm) und/oder
als Hardwareeinheit (z. B. als Schaltung oder als IC), die eine
Funktion einer betreffenden Vorrichtung enthalten oder nicht enthalten,
realisiert werden. Ferner kann die Hardwareeinheit Teil eines Mikrocomputers
sein.
-
Ferner
kann die Programmeinheit oder eine beliebige Kombination einer Mehrzahl
von Programmeinheiten Teil eines Computerprogramms sein, das auf
einem computerlesbaren Speichermedium enthalten sein oder über
ein Kommunikationsnetz heruntergeladen und auf einem Computer installiert
werden kann.
-
Vorstehend
wurden die folgenden Ausgestaltungen der vorliegenden Erfindung
offenbart.
-
Gemäß einer
ersten Ausgestaltung der vorliegenden Erfindung wird eine Gesichtsbildaufnahmevorrichtung
für ein Fahrzeug bereitgestellt, die aufweist: eine Kamera,
die dazu ausgelegt ist, ein Gesichtsbild, das einem Bild eines Gesichts
eines Insassen des Fahrzeugs entspricht, wiederholt aufzunehmen;
einen Anstrahler, der dazu ausgelegt ist, das Gesicht des Insassen
anzustrahlen; eine Anstrahlsteuervorrichtung, die dazu ausgelegt
ist, das Anstrahllicht bezüglich (i) eines Schaltens zwischen einem
Ein- und Ausschalten eines Lichts und/oder (ii) einer Lichtmenge
beim Schalten eines Lichts zu steuern, um eine Abstimmung eines
Beleuchtungszustandes eines auf das Gesicht des Insassen gestrahlten
Lichts auszuführen; eine Bildaufnahmesteuervorrichtung,
die dazu ausgelegt ist, eine Aufnahmezeit zum Aufnehmen des Gesichtsbildes
in Synchronisation mit der Abstimmung des Beleuchtungszustandes zu
steuern; eine Differenzbilderzeugungsvorrichtung, die dazu ausgelegt
ist, ein Differenzbild zu erzeugen, das eine Helligkeitsdifferenz
zwischen einem hellen Gesichtsbild und einem Umgebungslicht-Gesichtsbild
anzeigt, wobei das helle Gesichtsbild in einem Beleuchtungszustand
von der Kamera aufgenommen wird, in welchem das Gesicht hauptsächlich
vom Licht des Anstrahlers angestrahlt wird, und das Umgebungslicht-Gesichtsbild
in einem Beleuchtungszustand von der Kamera aufgenommen wird, in
welchem das Gesicht hauptsächlich von einem Umgebungslicht
angestrahlt wird; und eine Bildausgabevorrichtung, die dazu ausgelegt
ist, das von der Differenzbilderzeugungsvorrichtung erzeugte Differenzbild
wiederholt auszugeben. Die Bildausgabevorrichtung weist eine Ausgabebedingungsbestimmungsvorrichtung
auf, die dazu ausgelegt ist, zu bestimmen, ob eine Bedingung zum
Ausgeben (i) des hellen Gesichtsbildes und/oder (ii) des Umgebungslicht-Gesichtsbildes
erfüllt ist. Die Bildausgabevorrichtung ist dann, wenn
bestimmt wird, dass die Bedingung erfüllt ist, dazu ausgelegt,
das wenigstens eine Gesichtsbild zusätzlich zum Differenzbild
auszugeben.
-
Es
kann der Fall eintreten, dass die Helligkeit oder der Helligkeitswert
im gesamten hellen Gesichtsbild oder im gesamten Umgebungslicht-Gesichtsbild
hoch ist. In diesem Fall wird angenommen, dass das Sonnenlicht direkt
in die Fahrgastzelle des Fahrzeugs fällt oder in die Fahrgastzelle
des Fahrzeugs reflektiert wird oder Licht von Scheinwerfern eines
entgegenkommenden Fahrzeugs in die Fahrgastzelle des Fahrzeugs fällt.
Folglich wird bestimmt, dass es Tag ist oder dass ein starker Lichteinfall
vorliegt.
-
Demgegenüber
kann der Fall eintreten, dass ein Gesichtsbereich im hellen Gesichtsbild
heller als der andere Bereich, welcher den Gesichtsbereich ausschließt,
ist, d. h. ein vom Anstrahllicht reflektiertes Bild dominant ist.
In solch einem Fall wird bestimmt, dass es Nacht ist oder dass sich
das Fahrzeug in einem dunklen Parkhaus oder in einem Tunnel befindet.
-
Ferner
kann im Umgebungslicht-Gesichtsbild dann, wenn das gesamte Bild
dunkel ist, bestimmt werden, dass es Nacht ist oder dass sich das Fahrzeug
in einem dunklen Parkhaus oder in einem Tunnel befindet. Die Begriffe
"hell und dunkel" sind hierbei als Lichtmenge definiert, die über
eine Kameralinse oder ein Aufnahmemittel einfällt und nicht
von einer Person über eine Kamera erfasst oder wahrgenommen
wird. Dies liegt daran, dass ein ausgegebenes Bild dunkler erscheint,
wenn die Belichtungszeit kürzer oder die Verstärkung
herabgesetzt wird, und zwar selbst dann, wenn es außerhalb
des Fahrzeugs hell ist. Folglich kann die Umgebungsbedingung (z. B.
Tag oder Nacht) außerhalb des Fahrzeugs aus dem hellen
Gesichtsbild oder dem Umgebungslicht-Gesichtsbild, aus welchen der
Einfluss von Störlicht nicht entfernt wurde, bestimmt werden.
-
Gemäß einer
optionalen Ausgestaltung der Gesichtsbildaufnahmevorrichtung der
ersten Ausgestaltung kann eine Schläfrigkeitsbestimmungsvorrichtung
dazu ausgelegt sein, auf der Grundlage des Gesichtsbildes und/oder
des Differenzbildes, die von der Bildausgabevorrichtung ausgegeben
werden, zu bestimmen, ob der Fahrer schläfrig ist oder
nicht.
-
Es
kann der Fall eintreten, dass eine Helligkeit, die über
einem Schwellenwert liegt, so dass der Fahrer geblendet wird, als
Bestimmungsergebnis für eine Umgebungsbedingung außerhalb
des Fahrzeugs unter Verwendung eines hellen Gesichtsbildes oder
eines Umgebungslicht-Gesichtsbildes erfasst werden. In solch einem
Fall wird dann, wenn es aus dem zu diesem Zeitpunkt erzeugten Differenzbild
ersichtlich ist, dass der Fahrer seinen Augenaufschlag verringert,
bestimmt, dass der Fahrer seinen Augenaufschlag verringert, da Licht,
wie beispielsweise Sonnenlicht oder Licht von Scheinwerfern eines
entgegenkommenden Fahrzeugs, von außerhalb in die Fahrgastzelle
des Fahrzeugs fällt.
-
Demgegenüber
wird dann, wenn das helle Gesichtsbild oder das Umgebungslicht-Gesichtsbild eine
annähernd gleichförmige Helligkeit aufweist oder
das Umgebungslicht-Gesichtsbild vollständig dunkel ist,
bestimmt, dass es Nacht ist. Wenn es aus dem zu diesem Zeitpunkt
erzeugten Differenzbild ersichtlich ist, dass der Fahrer seinen
Augenaufschlag verringert, kann bestimmt werden, dass er seinen
Augenaufschlag verringert, da er schläfrig ist.
-
Gemäß einer
zweiten Ausgestaltung der vorliegenden Erfindung wird eine Gesichtsbildaufnahmevorrichtung
für ein Fahrzeug bereitgestellt, die aufweist: eine Kamera,
die dazu ausgelegt ist, ein Gesichtsbild, das einem Bild eines Gesichts
eines Insassen des Fahrzeugs entspricht, wiederholt aufzunehmen;
einen Anstrahler, der dazu ausgelegt ist, das Gesicht des Insassen
anzustrahlen; eine Anstrahlsteuervorrichtung, die dazu ausgelegt
ist, das Anstrahllicht bezüglich (i) eines Schaltens zwischen einem
Ein- und Ausschalten eines Lichts und/oder (ii) einer Lichtmenge
beim Schalten eines Lichts zu steuern, um eine Abstimmung eines
Beleuchtungszustandes eines auf das Gesicht des Insassen gestrahlten
Lichts auszuführen; eine Bildaufnahmesteuervorrichtung,
die dazu ausgelegt ist, eine Aufnahmezeit zum Aufnehmen des Gesichtsbildes
in Synchronisation mit der Abstimmung des Beleuchtungszustandes zu
steuern; eine Differenzbilderzeugungsvorrichtung, die dazu ausgelegt
ist, ein Differenzbild zu erzeugen, das eine Helligkeitsdifferenz
zwischen einem hellen Gesichtsbild und einem Umgebungslicht-Gesichtsbild
anzeigt, wobei das helle Gesichtsbild in einem Beleuchtungszustand
von der Kamera aufgenommen wird, in welchem das Gesicht hauptsächlich
vom Licht des Anstrahlers angestrahlt wird, und das Umgebungslicht-Gesichtsbild
in einem Beleuchtungszustand von der Kamera aufgenommen wird, in
welchem das Gesicht hauptsächlich von einem Umgebungslicht
angestrahlt wird; und eine Bildausgabevorrichtung, die dazu gelegt
ist, das von der Differenzbilderzeugungsvorrichtung erzeugte Differenzbild
wiederholt auszugeben. Die Bildausgabevorrichtung weist hierbei
eine Ausgabebedingungsbestimmungseinheit auf, die dazu ausgelegt
ist, zu bestimmen, ob eine Bedingung zum Ausgeben eines Helligkeitswertes
eines vorbestimmten Bereichs eines Gesichtsbildes (i) des hellen Gesichtsbildes
und/oder (ii) des Umgebungslicht-Gesichtsbildes erfüllt
ist. Die Bildausgabevorrichtung ist dann, wenn bestimmt wird, dass
die Bedingung erfüllt ist, dazu ausgelegt, den Helligkeitswert
zusätzlich zum Differenzbild auszugeben.
-
Der
Helligkeitswert beschreibt hierbei einen normierten Wert, der nicht
durch den Einfluss eines Einstellwertes, wie beispielsweise einer
Belichtungszeit oder einer Verstärkung der Kamera, beeinflusst wird.
-
Wenn
ein bestimmter Bereich im hellen Gesichtsbild oder im Umgebungslicht-Gesichtsbild
heller als ein anderer Bereich im hellen Gesichtsbild oder im Umgebungslicht-Gesichtsbild
ist, ist der Helligkeitswerts des bestimmten Bereichs höher
als der des anderen Bereichs. Folglich wird dann, wenn eine Differenz
oder Änderung im Helligkeitswert zwischen dem bestimmten
Bereich und dem anderen Bereich festgestellt wird, angenommen, dass
Sonnenlicht oder externes Licht in die Fahrgastzelle des Fahrzeugs
fällt. Auf diese Weise wird bestimmt, dass es Tag ist oder
externes Licht in die Fahrgastzelle des Fahrzeugs fällt.
-
Wenn
demgegenüber (i) der andere Bereich, der sich vom bestimmten
Bereich, wie beispielsweise dem Gesichtsbereich, unterscheidet,
im hellen Gesichtsbild oder (ii) das gesamte Umgebungslicht-Gesichtsbild
annähernd gleichförmig dunkel ist, kann bestimmt
werden, dass es Nacht ist oder dass sich das Fahrzeug in einem dunklen
Parkhaus oder in einem Tunnel befindet. Folglich kann die Umgebungsbedingung
(Tag, Nacht usw.) außerhalb des Fahrzeugs aus dem Helligkeitswert
in einem vorbestimmten Bereich bestimmt werden. Hierbei wird der
Helligkeitswert im bestimmten Bereich ohne eine Entfernung des Einflusses
von Störlicht zusätzlich zum Differenzbild ausgegeben.
-
Gemäß einer
optionalen Ausgestaltung der Gesichtsbildaufnahmevorrichtung der
zweiten Ausgestaltung kann der vorbestimmte Bereich des Gesichtsbildes
des wenigstens einen Gesichtsbildes als ein Bildbereich definiert
sein, in welchem das Gesicht des Insassen als Bild in dem wenigstens
einen Gesichtsbild aufgenommen ist. Dies liegt daran, dass so auf
einfache Weise bestimmt werden kann, ob Sonnenlicht auf das Gesicht
des Insassen fällt.
-
Gemäß einer
optionalen Ausgestaltung der Gesichtsbildaufnahmevorrichtung der
zweiten Ausgestaltung kann eine Schläfrigkeitsbestimmungsvorrichtung
dazu ausgelegt sein, auf der Grundlage des Differenzbildes und des
Helligkeitswertes, die von der Bildausgabevorrichtung ausgegeben
werden, zu bestimmen, ob der Insasse schläfrig ist oder
nicht.
-
Gemäß obiger
Beschreibung wird dann, wenn eine Differenz oder Änderung,
die einen Schwellenwert des Helligkeitswertes überschreitet, zwischen
dem bestimmten Bereich und dem anderen Bereich erfasst wird, bestimmt,
dass es Tag ist oder externes Licht in die Fahrgastzelle des Fahrzeugs fällt.
In diesem Fall wird dann, wenn es aus dem zu diesem Zeitpunkt erzeugten
Differenzbild ersichtlich wird, dass der Fahrer seinen Augenaufschlag
verringert, bestimmt, dass der Fahrer seinen Augenaufschlag verringert
bzw. seine Augen zusammenkneift, da er durch das von außen
in die Fahrgastzelle des Fahrzeugs fallende Licht, wie beispielsweise
Sonnenlicht oder Licht von Scheinwerfern eines entgegenkommenden
Fahrzeugs, geblendet wird.
-
Wenn
demgegenüber keine Differenz oder Änderung des
Helligkeitswertes zwischen dem bestimmten Bereich und dem anderen
Bereich erfasst wird, wird bestimmt, dass es Nacht ist. Wenn es
aus dem zu diesem Zeitpunkt erzeugten Differenzbild ersichtlich
wird, dass der Fahrer seinen Augenaufschlag verringert, kann bestimmt
werden, dass er seinen Augenaufschlag verringert, da er schläfrig
ist.
-
Gemäß einer
optionalen Ausgestaltung der Gesichtsbildaufnahmevorrichtung der
ersten oder der zweiten Ausgestaltung ist eine Ausgabebedingungsbestimmungsvorrichtung
dazu ausgelegt, zu bestimmen, dass die Bedingung erfüllt
wird, wenn einer der folgenden Fälle eintritt: ein erster
Fall, bei dem ein Zeitpunkt zum Ausgeben des Differenzbildes erreicht
wird, ein zweiter Fall, bei dem eine Anzahl von Malen einer Ausgabe
des Differenzbildes eine vorbestimmte Anzahl von Malen erreicht,
und ein dritter Fall, bei dem ein Ausgabebefehl von einer Eingabevorrichtung,
an welche das Differenzbild gegeben wird, ausgegeben wird.
-
Hierdurch
kann bestimmt werden, (i) ob ein Gesichtsbild des hellen Gesichtsbildes
und des Umgebungslicht-Gesichtsbildes auszugeben ist, aus denen
der Einfluss von Störlicht nicht entfernt wurde, oder (ii)
ob der Helligkeitswert im vorbestimmten Bereich des einen Gesichtsbildes
auszugeben ist.
-
Fachleuten
wird ersichtlich sein, dass die vorstehend beschriebenen Ausführungsformen
der vorliegenden Erfindung auf verschiedene Weise ausgestaltet werden
können, ohne den Schutzumfang der vorliegenden Erfindung
zu verlassen, so wie er in den beigefügten Ansprüchen
dargelegt ist.
-
Vorstehend
wurde eine Gesichtsbildaufnahmevorrichtung offenbart.
-
Eine
Gesichtsbildaufnahmevorrichtung für ein Fahrzeug gibt wiederholt
ein Differenzbild px – pz an eine Bild-ECU. Wenn die Anzahl
von Malen einer Ausgabe eine vorbestimmte Anzahl von Malen erreicht,
wird ein helles Gesichtsbild px, aus welchem der Einfluss von Störlicht
nicht entfernt wurde, an die Bild-ECU gegeben. Auf diese Weise kann
die Bild-ECU eine Umgebungsbedingung (Tag, Nacht usw.) außerhalb
des Fahrzeugs auf der Grundlage des zusätzlich zum Differenzbild
ausgegebenen hellen Gesichtsbildes bestimmen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-