DE102009046481B4

DE102009046481B4 - Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme

Info

Publication number: DE102009046481B4
Application number: DE102009046481.6A
Authority: DE
Inventors: Atsushi Shimura
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2008-11-17
Filing date: 2009-11-06
Publication date: 2018-12-13
Anticipated expiration: 2029-11-07
Also published as: US20100123781A1; US8208027B2; JP2010124043A; JP4666062B2; DE102009046481A1

Abstract

Bildaufnahmevorrichtung zur Aufnahme eines Bilds eines Objekts, aufweisend:ein erstes Beleuchtungselement (4) zum Abstrahlen von erstem Licht;ein zweites Beleuchtungselement (5) zum Abstrahlen von zweitem Licht;ein Bildaufnahmeelement (2) zum Aufnehmen eines Bilds von empfangenem Licht; undeine Steuerung (3, 6), wobeidas erste Beleuchtungselement (4) einen ersten Beleuchtungsbereich hat, in welchem das erste Licht von dem ersten Beleuchtungselement (4) verläuft, und das zweite (5) einen zweiten Beleuchtungsbereich hat, in welchem das zweite Licht vom zweiten Beleuchtungselement (5) verläuft,der erste Beleuchtungsbereich den zweiten Beleuchtungsbereich teilweise überlappt,das Bildaufnahmeelement (2) in einer bestimmten Position derart angeordnet ist, dass das Bildaufnahmeelement (2) Licht empfängt, das von dem Objekt reflektiert wird, wobei das Licht das erste oder das zweite Licht ist,das Objekt in dem Überlappungsbereich der ersten und zweiten Beleuchtungsbereiche angeordnet ist,die Steuerung (3, 6) das Bildaufnahmeelement (2) steuert, um ein erstes Bild des Objekts aufzunehmen, wenn das erste Beleuchtungselement (4) das erste Licht abstrahlt,die Steuerung (3, 6) das erste Bild speichert,die Steuerung (3, 6) das Bildaufnahmeelement (2) steuert, um ein zweites Bild des Objekts aufzunehmen, wenn das zweite Beleuchtungselement (5) das zweite Licht abstrahlt,die Steuerung (3, 6) das zweite Bild speichert,die Steuerung (3, 6) weiterhin Nichtbeleuchtungsbildspeichermittel (S30) aufweist,die Nichtbeleuchtungsbildspeichermittel (S30) das Bildaufnahmeelement (2) steuern, ein Nichtbeleuchtungsbild (CD1) nur dann aufzunehmen, wenn kein Beleuchtungselement Licht abstrahlt,die Steuerung (3, 6) eine Differenz zwischen der Helligkeit des Nichtbeleuchtungsbilds (CD1) und der Helligkeit des ersten Bilds (CD2) berechnet, wobei die Differenz definiert ist als erstes Differenzbild (SD1),die Steuerung (3, 6) eine Differenz zwischen der Helligkeit des Nichtbeleuchtungsbilds (CD1) und der Helligkeit des zweiten Bilds (CD3) berechnet, wobei die Differenz definiert ist als zweites Differenzbild (SD2),die Steuerung (3, 6) ein Additionsbild (AD1) durch Addition der Helligkeit des ersten Differenzbilds (SD1) und der Helligkeit des zweiten Differenzbilds erzeugt,die Steuerung (3, 6) ein Absolutdifferenzbild (SD3) durch Berechnen eines Absolutwerts einer Differenz zwischen der Helligkeit des ersten Differenzbilds und der Helligkeit des zweiten Differenzbilds (SD2) erzeugt, unddie Steuerung (3, 6) ein Enddifferenzbild (SD4) durch Berechnen einer Differenz zwischen der Helligkeit des Additionsbilds (AD1) und der Helligkeit des Absolutdifferenzbilds (SD3) erzeugt.

Description

Die vorliegende Erfindung betrifft eine Bildaufnahmevorrichtung zur Aufnahme eines Bilds durch Abstrahlung von Licht und durch Empfang von reflektiertem Licht sowie ein Verfahren zur Aufnahme eines Bilds.
Es wurde ein Fahrunterstützungssystem für verbesserte Sicherheit, Bequemlichkeit und verbesserten Komfort eines Fahrzeugs für einen Passagier in beispielsweise der JP 2006-231963 A beschrieben. Eine Technik zur Erkennung einer Gesichtsausrichtung und/oder einer Augenrichtung (Blickrichtung) wird für das System in dem Fahrzeug verwendet. Die Gesichtsausrichtung oder die Blickrichtung werden anhand von Daten eines Gesichtsbilds eines Menschen erkannt, das von einer Vorrichtung aufgenommen wird. Insbesondere wenn die Gesichtsausrichtung und die Blickrichtung verwendet werden, bestimmt das System, ob ein Fahrer den Blick von einer Fahrbahn abwendet. Weiterhin schätzt das System einen physiologischen Zustand und psychologischen Zustand des Fahrers basierend auf Änderungen von Merkmalpositionen im Gesicht ab. Somit werden Sicherheit, Bequemlichkeit und Komfort für den Passagier verbessert, wenn Informationen bezüglich einer Unaufmerksamkeit beim Fahren, des physiologischen Zustands und psychologischen Zustands des Fahrers verwendet werden.
Weiterhin ist in der JP 2007-4448 A ein Beispiel für ein Aufnahmeverfahren eines Gesichts eines Menschen beschrieben, wenn nahes Infrarotlicht auf das Gesicht des Fahrers gestrahlt wird, sowie zur Aufnahme des Gesichts des Fahrers, wenn kein nahes Infrarotlicht aufgestrahlt wird. In diesem Fall wird ein Differenzbild zwischen einem aufgenommenen Bild, wenn das nahe Infrarotlicht auf das Gesicht gestrahlt wird, und einem aufgenommenen Bild, wenn das nahe Infrarotlicht nicht auf das Gesicht gestrahlt wird, erhalten. Unter Verwendung des Differenzbilds wird eine Bildaufnahme mit verringertem Einfluss von Außenlicht, beispielsweise Sonnenlicht, erhalten.
Wenn jedoch das nahe Infrarotlicht auf ein Gesicht einer Person gestrahlt wird, welche eine Brille trägt, wird das nahe Infrarotlicht von den Brillengläsern und/oder dem Brillengestell reflektiert. Somit erscheint ein Abschnitt mit hoher Helligkeit in der Bildaufnahme.
Um die Abschnitte oder den Abschnitt hoher Helligkeit aus dem Bild zu entfernen, werden verschiedene Verfahren vorgeschlagen. Beispielsweise wird ein Helligkeitshistogramm von Bildzellen, welche die Bildaufnahme oder das aufgenommene Bild liefern, geformt, so dass einige der Bildzellen mit einer Helligkeit gleich oder größer als ein vorbestimmter Schwellenwert als Abschnitt hoher Helligkeit spezifiziert werden. Die Helligkeit in dem Abschnitt hoher Helligkeit wird durch eine durchschnittliche Helligkeit von umgebenden Bildzellen um den Abschnitt hoher Helligkeit herum ersetzt, so dass die tatsächliche Helligkeit des Abschnitts hoher Helligkeit wiedergegeben wird. Diese Technik ist beispielsweise in der JP 2002-269545 A beschrieben. Eine andere Technik ist in der JP H08-185503 A beschrieben. Bei dieser Technik wird zunächst ein erster Schwellenwert zur Extraktion oder Entnahme eines Reflexionsbilds eines Augapfels eines Menschen definiert sowie ein zweiter Schwellenwert zur Extraktion oder Entnahme eines Reflexionsbilds von einer Brille, die von einem Menschen getragen wird. Dann wird basierend auf einer Form eines binärisierten Bilds eines Aufnahmebilds, das unter Verwendung der ersten und zweiten Schwellenwerte verarbeitet wird, das Reflexionsbild von der Brille entfernt.
Wenn jedoch die Techniken gemäß der JP 2002-269545 A oder JP H08-185503 A verwendet werden und die ersten und zweiten Schwellenwerte auf bestimmte Werte festgesetzt werden, kann eine Bildzelle, welche nicht zu einer Reflexion des nahen Infrarotlichts gehört, erkannt werden oder der Abschnitt hoher Helligkeit, der durch eine Reflexion von nahem Infrarotlicht erzeugt wird, kann nicht erkannt werden. Von einem praxisbezogenen Standpunkt her wird daher eine Erkennung des Abschnitts hoher Helligkeit bzw. deren Zuverlässigkeit verschlechtert.
Weiterhin wird in der Technik gemäß der JP 2002-269545 A die Helligkeit des Abschnitts hoher Helligkeit mit der durchschnittlichen Helligkeit umgebender Bildzellen ersetzt. Folglich können die ersetzten Bildzellen ein unscharfes Bild erzeugen und/oder die Helligkeit des Bilds kann ungleichförmig sein. Die Wiedergabefähigkeit einer Helligkeit im Abschnitt hoher Helligkeit ist daher niedrig.
Weiterer relevanter Stand der Technik ist bekannt aus der DE 102007047643 A1 , der JP 2008027242 A oder der WO 2008056789 A1 .
Angesichts der obigen Ausführung ist es Aufgabe der vorliegenden Erfindung, eine Bildaufnahmevorrichtung zur Aufnahme eines Bilds mit hoher Zuverlässigkeit bei der Erkennung eines Abschnitts hoher Helligkeit und hoher Reproduzierbarkeit der Helligkeit im Abschnitt hoher Helligkeit zu schaffen. Es ist eine weitere Aufgabe der vorliegenden Erfindung, ein Verfahren zur Bildaufnahme zu schaffen, welches hohe Zuverlässigkeit bei der Erkennung eines Abschnitts hoher Helligkeit hat sowie hohe Reproduzierbarkeit der Helligkeit in einem Abschnitt hoher Helligkeit.
Die Lösung der Aufgabe erfolgt durch die Merkmale der Ansprüche 1 oder 10.
Gemäß einem ersten Aspekt der vorliegenden Erfindung weist eine Bildaufnahmevorrichtung zur Aufnahme eines Bilds eines Objekts auf: ein erstes Beleuchtungselement zum Abstrahlen von erstem Licht; ein zweites Beleuchtungselement zum Abstrahlen von zweitem Licht; ein Bildaufnahmeelement zum Aufnehmen eines Bilds von empfangenem Licht; und eine Steuerung, wobei das erste Beleuchtungselement einen ersten Beleuchtungsbereich hat, in welchem das erste Licht von dem ersten Beleuchtungselement verläuft, und das zweite Beleuchtungselement einen zweiten Beleuchtungsbereich hat, in welchem das zweite Licht vom zweiten Beleuchtungselement verläuft, der erste Beleuchtungsbereich den zweiten Beleuchtungsbereich teilweise überlappt, das Bildaufnahmeelement in einer bestimmten Position derart angeordnet ist, dass das Bildaufnahmeelement Licht empfängt, das von dem Objekt reflektiert wird, wobei das Licht das erste oder das zweite Licht ist, das Objekt in dem Überlappungsbereich der ersten und zweiten Beleuchtungsbereiche angeordnet ist, die Steuerung das Bildaufnahmeelement steuert, um ein erstes Bild des Objekts aufzunehmen, wenn das erste Beleuchtungselement das erste Licht abstrahlt, die Steuerung das erste Bild speichert, die Steuerung das Bildaufnahmeelement steuert, um ein zweites Bild des Objekts aufzunehmen, wenn das zweite Beleuchtungselement das zweite Licht abstrahlt, und die Steuerung das zweite Bild speichert.
In obiger Vorrichtung wird unter Verwendung des ersten Bilds und des zweiten Bilds der Abschnitt hoher Helligkeit erkannt und die Bildinformation im Abschnitt hoher Helligkeit wird ohne Verwendung eines Schwellenwerts wiedergegeben. Damit wird die Zuverlässigkeit bei der Erkennung des Abschnitts hoher Helligkeit verbessert. Weiterhin ist es nicht notwendig, die Helligkeit im Abschnitt hoher Helligkeit durch eine Helligkeit eines umgebenden Abschnitts zu ersetzen. Da die Helligkeit im Abschnitt hoher Helligkeit durch eine Helligkeit in dem Abschnitt hoher Helligkeit ersetzt wird, die tatsächlich erkannt wird, ist die Reproduzierbarkeit der Helligkeit im Abschnitt hoher Helligkeit verbessert.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung weist ein Verfahren zur Aufnahme eines Bilds eines Objekts auf: Abstrahlen von erstem Licht; Abstrahlen von zweitem Licht; Empfangen von Licht und Aufnehmen eines Bilds unter Verwendung des empfangenen Lichts mittels eines Bildaufnahmeelements; Steuern des Bildaufnahmeelements, um ein erstes Bild des Objekts aufzunehmen, wenn das erste Licht abgestrahlt wird; Speichern des ersten Bilds; Steuern des Bildaufnahmeelements, um ein zweites Bild des Objekts aufzunehmen, wenn das zweite Licht abgestrahlt wird; und Speichern des zweiten Bilds, wobei das erste Licht in einem ersten Bestrahlungsbereich verläuft und das zweite Licht in einem zweiten Bestrahlungsbereich verläuft, der erste Bestrahlungsbereich teilweise den zweiten Bestrahlungsbereich überlappt, das Bildaufnahmeelement in einer bestimmten Position derart angeordnet wird, dass das Bildaufnahmeelement von dem Objekt reflektiertes Licht empfängt, wobei das Licht das erste oder das zweite Licht ist, und das Objekt in dem Überlappungsbereich der ersten und zweiten Bestrahlungsbereiche angeordnet ist.
Bei dem erfindungsgemäßen Verfahren wird unter Verwendung des ersten Bilds und des zweiten Bilds der Abschnitt hoher Helligkeit erkannt und die Bildinformation im Abschnitt hoher Helligkeit wird ohne Verwendung eines Schwellenwerts wiedergegeben. Damit ist die Zuverlässigkeit bei der Erkennung des Abschnitts hoher Helligkeit verbessert. Weiterhin ist es nicht notwendig, die Helligkeit im Abschnitt hoher Helligkeit durch eine Helligkeit eines umgebenden Abschnitts zu ersetzen. Da die Helligkeit im Abschnitt hoher Helligkeit durch eine Helligkeit in einem Abschnitt hoher Helligkeit ersetzt wird, welche tatsächlich erkannt wird, ist die Reproduzierbarkeit der Helligkeit in dem Abschnitt hoher Helligkeit verbessert.
Gemäß einem dritten Aspekt weist eine Bildaufnahmevorrichtung zur Aufnahme eines Bilds eines Objekts auf: ein erstes Beleuchtungselement zum Abstrahlen von erstem Licht; ein zweites Beleuchtungselement zum Abstrahlen von zweitem Licht; ein Bildaufnahmeelement zum Aufnehmen eines Bilds von empfangenem Licht; und eine Steuerung, wobei das erste Beleuchtungselement einen ersten Beleuchtungsbereich hat, in welchem das erste Licht von dem ersten Beleuchtungselement verläuft, und das zweite Beleuchtungselement einen zweiten Beleuchtungsbereich hat, in welchem das zweite Licht vom zweiten Beleuchtungselement verläuft, der erste Beleuchtungsbereich den zweiten Beleuchtungsbereich teilweise überlappt, das Bildaufnahmeelement in einer bestimmten Position derart angeordnet ist, dass das Bildaufnahmeelement Licht empfängt, das von dem Objekt reflektiert wird, wobei das Licht das erste oder das zweite Licht ist, das Objekt in dem Überlappungsbereich der ersten und zweiten Beleuchtungsbereiche angeordnet ist, wobei die Steuerung das Bildaufnahmeelement steuert, ein Nichtbeleuchtungsbild des Objekts aufzunehmen, wenn kein Beleuchtungselement Licht abstrahlt, die Steuerung das Nichtbeleuchtungsbild speichert, die Steuerung das Bildaufnahmeelement steuert, ein erstes Bild des Objekts aufzunehmen, wenn das erste Beleuchtungselement das erste Licht abstrahlt, die Steuerung das erste Bild speichert, die Steuerung das Bildaufnahmeelement steuert, ein zweites Bild des Objekts aufzunehmen, wenn das zweite Beleuchtungselement das zweite Licht abstrahlt, und die Steuerung das zweite Bild speichert.
Bei obiger Vorrichtung wird unter Verwendung des ersten Bilds und des zweiten Bilds der Abschnitt hoher Helligkeit erkannt und die Bildinformation im Abschnitt hoher Helligkeit wird ohne Verwendung eines Schwellenwerts wiedergegeben. Damit ist die Zuverlässigkeit bei der Erkennung des Abschnitts hoher Helligkeit verbessert. Da weiterhin die Helligkeit im Abschnitt hoher Helligkeit durch eine Helligkeit im Abschnitt hoher Helligkeit ersetzt wird, welche tatsächlich erkannt wird, ist die Reproduzierbarkeit der Helligkeit im Abschnitt hoher Helligkeit verbessert. Weiterhin werden ein erstes Differenzbild zwischen dem ersten Bild und dem nicht bestrahlten Bild und/oder ein zweites Differenzbild zwischen dem zweiten Bild und dem nicht bestrahlten Bild erzeugt, so dass das erste oder zweite Differenzbild geringen Einfluss auf externes Licht anders als das nahe Infrarotlicht hat.
Gemäß einem vierten Aspekt weist ein Verfahren zum Aufnehmen eines Bilds eines Objekts die Schritte auf von: Abstrahlen von erstem Licht; Abstrahlen von zweitem Licht; Empfangen von Licht und Aufnehmen des Bilds unter Verwendung von empfangenem Licht mit einem Bildaufnahmeelement; Steuern des Bildaufnahmeelements, um ein Nichtbeleuchtungsbild des Objekts aufzunehmen, wenn kein Licht abgestrahlt wird; Speichern des Nichtbeleuchtungsbilds; Steuern des Bildaufnahmeelements, um ein erstes Bild des Objekts aufzunehmen, wenn das erste Licht abgestrahlt wird; Speichern des ersten Bilds; Steuern des Bildaufnahmeelements, um ein zweites Bild des Objekts aufzunehmen, wenn das zweite Licht abgestrahlt wird; und Speichern des zweiten Bilds, wobei das erste Licht in einem ersten Bestrahlungsbereich verläuft und das zweite Licht in einem zweiten Bestrahlungsbereich verläuft, der erste Bestrahlungsbereich teilweise den zweiten Bestrahlungsbereich überlappt, das Bildaufnahmeelement in einer bestimmten Position angeordnet ist, so dass das Bildaufnahmeelement Licht empfängt, das von dem Objekt reflektiert wird, wobei das Licht das erste oder das zweite Licht ist, und das Objekt in einem Überlappungsbereich der ersten und zweiten Bestrahlungsbereiche angeordnet ist.
Bei obigem Verfahren wird unter Verwendung des ersten Bilds und des zweiten Bilds der Abschnitt hoher Helligkeit erkannt und die Bildinformation im Abschnitt hoher Helligkeit wird ohne Verwendung eines Schwellenwerts wiedergegeben. Damit ist die Zuverlässigkeit bei der Erkennung des Abschnitts hoher Helligkeit verbessert. Da weiterhin die Helligkeit im Abschnitt hoher Helligkeit durch eine Helligkeit im Abschnitt hoher Helligkeit ersetzt wird, welche tatsächlich erkannt wird, ist die Reproduzierbarkeit der Helligkeit im Abschnitt hoher Helligkeit verbessert. Weiterhin werden ein erstes Differenzbild zwischen dem ersten Bild und dem nicht bestrahlten Bild und/oder ein zweites Differenzbild zwischen dem zweiten Bild und dem nicht bestrahlten Bild erzeugt, so dass das erste oder zweite Differenzbild geringen Einfluss auf externes Licht anders als das nahe Infrarotlicht hat.
Weiter Einzelheiten, Aspekte und Vorteile der vorliegenden Erfindung ergeben sich besser aus der nachfolgenden detaillierten Beschreibung unter Bezugnahme auf die beigefügte Zeichnung.
In der Zeichnung ist/sind:

1 ein Blockdiagramm, welches eine Bildaufnahmevorrichtung zeigt;
2 eine schematische Darstellung, welche die Anordnung einer Kamera und Bestrahlungselementen oder Beleuchtungselementen für nahes Infrarotlicht zeigt;
3A eine Draufsicht von oben auf einen Aufnahmebereich der Kamera und einen Beleuchtungs- oder Bestrahlungsbereich der Beleuchtungselemente für nahes Infrarotlicht und 3B eine Seitenansicht hierauf;
4 ein Flussdiagramm eines Reflexionslichtentfernungsprozesses;
5 eine schematische Darstellung von Bilddaten, die aus einem aufgenommenen Bild eines Gesichts eines Fahrers erhalten werden;
6A bis 6E jeweils Darstellungen verschiedener Bilddaten, die aus dem aufgenommenen Bild des Gesichts des Fahrers erhalten werden;
7A, 7C, 7E, 7G, 7I und 7K jeweils Fotografien, welche ein menschliches Gesicht mit großer Brille zeigen, wobei die Gesichtsvorderseite dargestellt ist, und 7B, 7D, 7F, 7H, 7J und 7L jeweils zeichnerische Darstellungen entsprechend den Fotografien der 7A, 7C, 7E, 7G, 7I und 7K;
8A, 8C, 8E, 8G, 8I und 8K jeweils Fotografien, welche ein menschliches Gesicht mit kleiner Brille zeigen, wobei die Gesichtsvorderseite dargestellt ist, und 8B, 8D, 8F, 8H, 8J und 8L jeweils zeichnerische Darstellungen entsprechend den Fotografien der 8A, 8C, 8E, 8G, 8I und 8K;
9A, 9C, 9E, 9G, 9I und 9K jeweils Fotografien, welche ein menschliches Gesicht mit großer Brille zeigen, wobei die Gesichtsvorderseite in Schrägsicht dargestellt ist, und 9B, 9D, 9F, 9H, 9J und 9L jeweils zeichnerische Darstellungen entsprechend den Fotografien der 9A, 9C, 9E, 9G, 9I und 9K;
10 ein Zeitdiagramm zur Erläuterung eines Erzeugungsverfahrens dritter Differenzbilddaten gemäß einer ersten Ausführungsform;
11 ein Flussdiagramm für einen Bestrahlungs- und Aufnahmeprozess;
12 ein Flussdiagramm für einen Differenzbilderzeugungsprozess;
13 ein Flussdiagramm für einen Reflexionslichtentfernungsbildprozess;
14 ein Zeitdiagramm zur Erläuterung eines Verfahrens zur Erzeugung dritter Differenzbilddaten gemäß einer zweiten Ausführungsform;
15A eine Draufsicht von oben auf einen Aufnahmebereich der Kamera und einen Beleuchtungsbereich von Beleuchtungselementen für nahes Infrarotlicht gemäß anderen Ausführungsformen und 15B eine Seitenansicht hiervon;
16A eine Draufsicht von oben auf einen Aufnahmebereich der Kamera und einen Beleuchtungsbereich von Beleuchtungselementen für nahes Infrarotlicht gemäß anderen Ausführungsformen und 16B eine Seitenansicht hiervon;
17A eine Draufsicht von oben auf die Bestrahlungsrichtung von Beleuchtungselementen für nahes Infrarotlicht gemäß anderen Ausführungsformen und 17B und 17C jeweils Darstellungen erster und zweiter Reflexionspositionen hoher Helligkeit in Bildern; und
18A und 18B eine Draufsicht von oben und eine Seitenansicht auf Lichtpfade von Reflexionslicht.

<Erste Ausführungsform>
Eine erste Ausführungsform der vorliegenden Erfindung wird nachfolgend unter Bezugnahme auf die Zeichnung beschrieben.
1 zeigt eine Bildaufnahmevorrichtung 1. 2 zeigt eine Ansicht von einem Fahrersitz eines Fahrzeugs aus in Richtung Fahrzeugvorderseite; insbesondere zeigt 2 die Anordnung einer Kamera 2 und eines Paars von Beleuchtungs- oder Bestrahlungselementen 4, 5 für den nahen Infrarotlichtbereich (nachfolgend „Beleuchtungselemente“ genannt).
Die Bildaufnahmevorrichtung 1 ist im Fahrzeug eingebaut. Die Vorrichtung 1 enthält die Kamera 2, eine Bildaufnahmekarte 3, das Paar von Beleuchtungselementen 4, 5 und eine Steuerung 6. Die Kamera 2 nimmt fortlaufend das Gesicht einer Person auf, die auf einem Fahrersitz sitzt und die ein Fahrer DR (3) des Fahrzeugs ist. Die Bildaufnahmekarte 3 speichert vorübergehend Daten des von der Kamera 2 aufgenommenen Bilds. Die Beleuchtungselemente 4, 5 strahlen Licht im nahen Infrarotbereich in Richtung Gesicht des Fahrers DR ab. Die Steuerung 6 führt eine Bildverarbeitung unter Verwendung des von der Kamera 2 aufgenommenen Bilds durch. Weiterhin steuert die Steuerung 6 die Kamera 2 und das Paar von Beleuchtungselementen 4, 5.
Die Kamera 2 ist eine herkömmliche Kamera mit einem Bildsensor, einem Linsensystem etc. Der Bildsensor enthält eine Mehrzahl von Bilderfassungselementen auf Halbleiterbasis, die in einem zweidimensionalen Gittermuster angeordnet sind. Der Bildsensor kann ein CCD-Bildsensor oder ein CMOS-Bildsensor sein. Die Linsenanordnung sammelt oder fokussiert Licht von einem Objekt auf den Bildsensor.
Die von der Kamera 2 erhaltenen Bilddaten sind als Bildaufnahmedaten definiert. Die Bilddaten enthalten eine Mehrzahl von Bildzellen, die in einem zweidimensionalen Feld mit horizontalen Linien und vertikalen Linien aneinanderliegend angeordnet sind. Die Anzahl horizontaler Linien beträgt M und die Anzahl vertikaler Linien N. Hierbei sind M und N positive ganze Zahlen. Somit sind die Bildaufnahmedaten gebildet aus Bildzellendaten P (X, Y). Die Anzahl von Bildzellendaten wird berechnet durch Multiplikation von M mit N. X stellt eine Koordinate der Bildzelle in horizontaler Richtung und Y stellt eine Koordinate der Bildzelle in vertikaler Richtung dar. Somit ist X ein Wert aus einer Gruppe bestehend aus 0, 1, 2, ... M. Y ist ein Wert aus einer Gruppe bestehend aus 0, 1, 2, ... N. Die Bildzellendaten P (X, Y) geben die Helligkeit der Bildzelle wieder, die an einer Position (X, Y) liegt. Die Helligkeit der Bildzelle ist definiert als ein Wert aus einer Gruppe bestehend aus 0, 1, 2, ... 255, so dass die Bildzellendaten P (X, Y) als ein Wert aus 256 Werten definiert sind.
Die Kamera 2 liegt nahe einem Instrumentenbrett IP, so dass die Kamera 3 das Gesicht des Fahrers DR aufnimmt.
Jedes Beleuchtungselement 4, 5 enthält eine LED-Lichtquelle zur Abstrahlung von Licht im nahen Infrarotbereich mit einer Wellenlänge von beispielsweise 850 nm. Die Beleuchtungselemente 4, 5 liegen nahe dem Instrumentenbrett IP, so dass die Beleuchtungselemente 4, 5 das nahe Infrarotlicht in Richtung des Gesichts des Fahrers DR abgeben.
3A zeigt eine Draufsicht von oben auf die Kamera 2 und die Beleuchtungselemente 4, 5, um den Beleuchtungs- oder Bestrahlungsbereich der Beleuchtungselemente 4, 5 und den Aufnahmebereich der Kamera 2 zu zeigen. 3B zeigt eine Seitenansicht der Kamera 2 und der Beleuchtungselemente 4, 5.
Das erste Beleuchtungselement 4 hat einen ersten Beleuchtungsbereich R1, der in 3A von einer Linie L1 und einer Linie L2 eingefasst ist, so dass das nahe Infrarotlicht, das von dem ersten Beleuchtungselement 4 abgestrahlt wird, den ersten Beleuchtungsbereich R1 erreicht. Das zweite Beleuchtungselement 5 hat einen zweiten Beleuchtungsbereich R2, der in 3A durch die Linien L3 und L4 eingefasst ist, so dass das nahe Infrarotlicht, das von dem zweiten Beleuchtungselement 5 abgestrahlt wird, den zweiten Beleuchtungsbereich R2 erreicht. Der erste Beleuchtungsbereich R1 überlappt teilweise den zweiten Beleuchtungsbereich R2.
Aus der Überlappung der ersten und zweiten Beleuchtungsbereiche R1 und R2 ergibt sich ein überlappter Beleuchtungsbereich R3. Die ersten und zweiten Beleuchtungselemente 4, 5 strahlen das nahe Infrarotlicht so ab, dass der gesamte Kopf des Fahrers DR in dem überlappten Beleuchtungsbereich R3 liegt. Somit liegt der überlappte Beleuchtungsbereich R3 zwischen der Linie L5 und der Linie L6 in 3B. Der Kopf des Fahrers DR liegt zwischen der Linie L5 und der Linie L6.
Die Kamera 2 ist so angeordnet, dass sie das gesamte Gesicht des Fahrers DR aufnehmen kann. Insbesondere hat die Kamera 2 einen Aufnahmebereich, der in horizontaler Richtung von den Linien L11 und L12 eingefasst ist. Weiterhin ist der Aufnahmebereich in vertikaler Richtung von den Linien L13 und L14 eingefasst. Darüber hinaus liegt die Kamera 2 auf einer Linie, welche zwischen dem Anordnungspunkt des ersten Beleuchtungselements 4 und dem Anordnungspunkt des zweiten Beleuchtungselements 5 liegt. Weiterhin liegt die Kamera 2 in einem Mittelpunkt zwischen dem Anordnungspunkt des ersten Beleuchtungselements 4 und dem Anordnungspunkt des zweiten Beleuchtungselements 5.
Die Steuerung 6 ist ein üblicher Mikrocomputer mit CPU, ROM, RAM, I/O-Vorrichtung und Bus zur Verbindung von CPU, ROM, RAM und I/O. Auf der Grundlage eines im ROM und/oder RAM gespeicherten Programms führt die Steuerung 6 verschiedene Prozessabläufe durch.
In der Bildaufnahmevorrichtung 1 führt die Steuerung 6 die Aufnahme des Gesichts des Fahrers DR durch sowie einen Reflexionslichtentfernungsprozess zur Entfernung des Einflusses von Reflexionslicht aus dem aufgenommenen Bild.
Die Steuerung 6 der Bildaufnahmevorrichtung 1 führt den Reflexionslichtentfernungsprozess gemäß 4 durch. Der Reflexionslichtentfernungsprozess wird wiederholt durchgeführt, wenn die Steuerung 6 eingeschaltet ist, das heißt, wenn sie aktiv ist.
Wenn der Reflexionslichtentfernungsprozess durchgeführt wird, bestimmt die Steuerung 6, ob ein Erstaufnahmebestimmungszeitwert gleich oder größer als ein vorbestimmter Aufnahmeintervallbestimmungswert ist, der beispielsweise 16,6 Millisekunden beträgt. Hierbei wird der Erstaufnahmebestimmungszeitwert in einem Erstaufnahmebestimmungstimer TM1 gesetzt, der ein Timer oder Zeitgeber ist, der seinen Wert automatisch innerhalb einer bestimmten Periode inkrementiert, beispielsweise einer Mikrosekunde. Wenn der Erstaufnahmebestimmungszeitwert zu einem bestimmten Zeitpunkt auf null zurückgesetzt ist, inkrementiert der Erstaufnahmebestimmungstimer den Erstaufnahmebestimmungszeitwert ab dieser Zeit auf null.
Wenn der Erstaufnahmebestimmungszeitwert kleiner als der Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S10 NEIN ist, wird Schritt S10 wiederholt. Wenn der Erstaufnahmebestimmungszeitwert gleich oder größer als der Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S10 JA ist, wird im Schritt S20 der Erstaufnahmebestimmungszeitwert auf null zurückgesetzt. Dann wird im Schritt S30 von der Kamera 2 ein Bild aufgenommen oder „geschossen“ und Daten des Bilds, das von der Kamera 2 aufgenommen wurde, werden erzeugt. Die Daten des Bilds werden als Bildaufnahmedaten definiert. Die Bildaufnahmedaten vom Schritt S30 sind als Nichtbeleuchtungsbildaufnahmedaten CD1 definiert. Dann werden im Schritt S40 die Nichtbeleuchtungsbildaufnahmedaten CD1 im RAM der Steuerung 6 gespeichert.
Dann bestimmt im Schritt S50 die Steuerung 6, ob der Erstaufnahmebestimmungszeitwert gleich oder größer als der Aufnahmeintervallbestimmungswert ist. Wenn der Erstaufnahmebestimmungszeitwert kleiner als der Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S50 NEIN ist, wird Schritt S50 wiederholt. Wenn der Erstaufnahmebestimmungszeitwert gleich oder größer als der Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S50 JA ist, wird im Schritt S60 der Erstaufnahmebestimmungszeitwert auf null zurückgesetzt. Dann steuert im Schritt S70 die Steuerung 6 das erste Beleuchtungselement 4, um mit der Abstrahlung von nahem Infrarotlicht zu beginnen.
Sodann wird im Schritt S80 ein Bild von der Kamera 2 aufgenommen und Daten des von der Kamera 2 aufgenommenen Bilds werden erzeugt. Die Daten des Bilds sind als Bildaufnahmedaten definiert. Die im Schritt S80 erzeugten Bildaufnahmedaten sind als Erstbeleuchtungsbildaufnahmedaten CD2 definiert. Dann werden im Schritt S90 die Erstbeleuchtungsbildaufnahmedaten CD2 im RAM der Steuerung 6 gespeichert.
Dann steuert im Schritt S100 die Steuerung 6 das erste Beleuchtungselement 4, um mit der Abstrahlung von nahem Infrarotlicht aufzuhören. Im Schritt S110 wird eine Differenz zwischen der Helligkeit der Nichtbeleuchtungsbildaufnahmedaten CD1 aus Schritt S30 und der Helligkeit der Erstbeleuchtungsbildaufnahmedaten CD2 aus Schritt S80 berechnet, so dass Bilddaten als erste Differenzbilddaten SD1 erhalten werden.
Hierbei bedeutet die Berechnung der Differenz zwischen der Helligkeit der Nichtbeleuchtungsbildaufnahmedaten CD1 und der Helligkeit der Erstbeleuchtungsbildaufnahmedaten CD2, dass die Helligkeit der Bildzellendaten Pn (X, Y), welche die Nichtbeleuchtungsbildaufnahmedaten CD1 liefern, und die Helligkeit der Bildzellendaten Pa (X, Y), welche die Erstbeleuchtungsbildaufnahmedaten CD2 liefern, voneinander subtrahiert werden. Hierbei haben die Bildzellendaten Pn (X, Y) und die Bildzellendaten Pa (X, Y) die gleichen horizontalen und vertikalen Koordinaten.
Genauer gesagt, wenn die horizontale Koordinate der ersten Differenzbilddaten SD1 gleich X ist und die vertikale Koordinate der ersten Differenzbilddaten SD1 gleich Y ist, sind die ersten Differenzbilddaten SD1 als Pc (X, Y) definiert. Die ersten Differenzbildzellendaten Pc (X, Y) werden gemäß folgender Formel F1 berechnet: $Pc (X,Y) = Pa (X,Y) - Pn (X,Y)$
Wenn hierbei die ersten Differenzbildzellendaten Pc (X, Y) kleiner als null sind, werden die ersten Differenzbildzellendaten Pc (X, Y) auf null gesetzt, so dass eine Verschlechterung des Differenzbilds aufgrund von Rauschen oder dergleichen verhindert ist.
Dann bestimmt im Schritt S120 die Steuerung 6, ob der Erstaufnahmebestimmungszeitwert gleich oder größer als der Aufnahmeintervallbestimmungswert ist. Wenn der Erstaufnahmebestimmungszeitwert kleiner als der Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S120 NEIN ist, wird Schritt S120 wiederholt. Wenn der Erstaufnahmebestimmungszeitwert größer als der Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S120 JA ist, wird im Schritt S130 der Erstaufnahmebestimmungszeitwert auf null zurückgesetzt. Dann steuert im Schritt S140 die Steuerung das zweite Beleuchtungselement 5, um mit dem Abstrahlen von nahem Infrarotlicht zu beginnen.
Sodann wird im Schritt S150 ein Bild von der Kamera 2 aufgenommen und Daten des von der Kamera 2 aufgenommenen Bilds werden erzeugt. Die Daten des Bilds sind als Bildaufnahmedaten definiert. Die im Schritt S150 erzeugten Bildaufnahmedaten sind als Zweitbeleuchtungsbildaufnahmedaten CD3 bezeichnet. Dann werden im Schritt S160 die Zweitbeleuchtungsbildaufnahmedaten CD3 im RAM der Steuerung 6 gespeichert.
Im Schritt S170 steuert die Steuerung 6 das zweite Beleuchtungselement 5, um die Beleuchtung mit nahem Infrarotlicht zu beenden. Im Schritt S180 wird die Differenz zwischen der Helligkeit der Nichtbeleuchtungsbildaufnahmedaten CD1 aus Schritt S30 und die Helligkeit der Zweitbeleuchtungsbildaufnahmedaten CD3 aus Schritt S150 berechnet, so dass Bilddaten als zweite Differenzbilddaten SD2 erhalten werden.
Die Berechnung der Differenz zwischen der Helligkeit der Nichtbeleuchtungsbildaufnahmedaten CD1 und der Helligkeit der Zweitbeleuchtungsbildaufnahmedaten CD3 bedeutet, dass die Helligkeit der Bildzellendaten Pn (X, Y), die die Nichtbeleuchtungsbildaufnahmedaten CD1 liefern, und die Helligkeit der Bildzellendaten Pb (X, Y), welche die Zweitbeleuchtungsbildaufnahmedaten CD3 liefern, voneinander subtrahiert werden. Hierbei haben die Bildzellendaten Pn (X, Y) und die Bildzellendaten Pb (X, Y) die gleiche horizontale und vertikale Koordinate.
Insbesondere wenn die horizontale Koordinate der zweiten Differenzbilddaten SD2 X beträgt und die vertikale Koordinate der zweiten Differenzbilddaten SD2 Y beträgt, sind die zweiten Differenzbilddaten SD2 als Pd (X, Y) definiert. Die zweiten Differenzbildzellendaten Pd (X, Y) werden gemäß folgender Formel F2 berechnet: $Pd (X,Y) = Pb (X,Y) - Pn (X,Y)$
Wenn hierbei die zweiten Differenzbildzellendaten Pd (X, Y) kleiner als null sind, werden die zweiten Differenzbildzellendaten Pd (X, Y) auf null zurückgesetzt, so dass eine Verschlechterung des Differenzbilds durch Rauschen oder dergleichen verhindert ist.
Im Schritt S190 werden die ersten Differenzbilddaten SD1 und die zweiten Differenzbilddaten SD2 miteinander addiert, so dass Additionsbilddaten AD1 erhalten werden.
Insbesondere wenn die horizontale Koordinate in den Additionsbilddaten AD1 X beträgt und die vertikale Koordinate in den Additionsbilddaten AD1 Y beträgt, sind die Additionsbilddaten AD1 als Pe (X, Y) definiert. Die Additionsbildzellendaten Pe (X, Y) werden gemäß folgender Formel F3 berechnet: $Pe (X,Y) = Pc (X,Y) + Pd (X,Y)$
Weiterhin wird im Schritt S200 ein Absolutwert der Differenz zwischen der Helligkeit der ersten Differenzbilddaten SD1 aus Schritt S110 und der Helligkeit der zweiten Differenzbilddaten SD2 aus Schritt S180 berechnet, so dass Bilddaten als ein Absolutwert der Differenzbilddaten SD3 erhalten werden.
Wenn die horizontale Koordinate im Absolutwert der Differenzbilddaten SD3 X beträgt und die vertikale Koordinate im Absolutwert der Differenzbilddaten SD3 Y beträgt, ist der Absolutwert der Differenzbilddaten SD3 als Pf (X, Y) definiert. Der Absolutwert der Differenzbildzellendaten Pf (X, Y) wird aus folgender Formel F4 berechnet: $Pf (X,Y) = | Pc (X,Y) - Pd (X,Y) |$
Weiterhin wird im Schritt S210 eine Differenz zwischen der Helligkeit der Additionsbilddaten AD1 aus Schritt S190 und der Helligkeit des Absolutwerts der Differenzbilddaten SD3 aus Schritt S200 berechnet, so dass Bilddaten als dritte Differenzbilddaten SD4 erhalten werden.
Genauer gesagt, wenn die Horizontalkoordinate der dritten Differenzbilddaten SD4 X beträgt und die Vertikalkoordinate der dritten Differenzbilddaten SD4 Y beträgt, sind die dritten Differenzbilddaten SD4 als Pg (X, Y) definiert. Die dritten Differenzbildzellendaten Pg (X, Y) werden aus Formel F5 berechnet: $Pg (X,Y) = Pe (X,Y) - Pf (X,Y)$
Wenn die dritten Differenzbildzellendaten Pg (X, Y) kleiner als null sind, werden die dritten Differenzbildzellendaten Pg (X, Y) auf null zurückgesetzt, so dass eine Verschlechterung des Differenzbilds aufgrund von Rauschen oder dergleichen verhindert ist.
Nach Schritt S210 endet der Reflexionslichtentfernungsprozess.
In der Bildaufnahmevorrichtung 1 ist die Kamera 2 in einer bestimmten Position angeordnet, so dass die Kamera 2 das Licht empfangen kann, welches vom Kopf des Fahrers DR als Aufnahmeobjekt reflektiert wird, der sich in dem überlappenden Beleuchtungsbereich R3 befindet. Die Kamera 2 kann das Aufnahmeobjekt aufnehmen, wenn das erste Beleuchtungselement 4 das nahe Infrarotlicht auf das Aufnahmeobjekt abstrahlt, und kann weiterhin das Objekt aufnehmen, wenn das zweite Beleuchtungselement 5 das nahe Infrarotlicht auf das Aufnahmeobjekt abstrahlt.
Weiterhin überlappen der erste Beleuchtungsbereich R1 und der zweite Beleuchtungsbereich R2 einander teilweise. Insbesondere überlappt der erste Beleuchtungsbereich R1 nicht vollständig den zweiten Beleuchtungsbereich R2, das heißt, der erste Beleuchtungsbereich R1 ist nicht gleich dem zweiten Beleuchtungsbereich R2. Wenn folglich das erste Beleuchtungselement 4 das nahe Infrarotlicht auf das Aufnahmeobjekt abstrahlt, ist eine erste Reflexionsposition LP1 hoher Helligkeit auf dem Aufnahmeobjekt definiert. Die erste Reflexionsposition LP1 hoher Helligkeit zeigt hohe Helligkeit, wenn das nahe Infrarotlicht von dem ersten Beleuchtungselement 4 von dem Aufnahmeobjekt reflektiert wird. Wenn das zweite Beleuchtungselement 5 das nahe Infrarotlicht auf das Aufnahmeobjekt abstrahlt, wird eine zweite Reflexionsposition LP2 hoher Helligkeit auf dem Aufnahmeobjekt definiert. Die zweite Reflexionsposition LP2 hoher Helligkeit liefert hohe Helligkeit, wenn das nahe Infrarotlicht von dem zweiten Beleuchtungselement 5 von dem Aufnahmeobjekt reflektiert wird. Die erste Reflexionsposition LP1 hoher Helligkeit ist unterschiedlich zur zweiten Reflexionsposition LP2 hoher Helligkeit, da der erste Beleuchtungsbereich R1 nicht gleich dem zweiten Beleuchtungsbereich R2 ist.
Somit geht Bildinformation an der ersten Reflexionsposition LP1 hoher Helligkeit in den ersten Differenzbilddaten SD1 aus Schritt S110 verloren. Jedoch geht Bildinformation an der ersten Reflexionsposition LP1 hoher Helligkeit in den zweiten Differenzbilddaten SD2 aus Schritt S180 nicht verloren. Auf ähnliche Weise geht Bildinformation an der zweiten Reflexionsposition LP2 hoher Helligkeit in den zweiten Differenzbilddaten SD2 aus Schritt S180 verloren. Bildinformation an der zweiten Reflexionsposition LP2 hoher Helligkeit in den ersten Differenzbilddaten SD1 aus Schritt S110 geht nicht verloren.
Folglich ist die Bildinformation an dem Abschnitt hoher Helligkeit reproduzierbar und ein Bild mit einer Bildinformation an dem Abschnitt hoher Helligkeit, welche reproduziert wurde, wird gemäß dem folgenden Ablauf erhalten.
Zunächst wird eine Differenz zwischen den ersten Differenzbilddaten SD1 und den zweiten Differenzbilddaten SD2 berechnet, so dass Zweifachdifferenzbilddaten erhalten werden.
Die Helligkeit an der ersten Reflexionsposition LP1 hoher Helligkeit in den ersten Differenzbilddaten SD1 ist hierbei hoch. Jedoch ist die Helligkeit an der ersten Reflexionsposition LP1 hoher Helligkeit in den zweiten Differenzbilddaten SD2 nicht hoch. Ähnlich ist die Helligkeit an der zweiten Reflexionsposition LP2 hoher Helligkeit in den zweiten Differenzbilddaten SD2 hoch und die Helligkeit an der zweiten Reflexionsposition LP2 hoher Helligkeit in den ersten Differenzbilddaten SD1 ist nicht hoch. Weiterhin ist die Helligkeit an einem anderen Abschnitt der ersten und zweiten Reflexionspositionen LP1 und LP2 hoher Helligkeit in den ersten Differenzbilddaten SD1 im Wesentlichen gleich der Helligkeit an dem anderen Abschnitt der ersten und zweiten Reflexionspositionen LP1 und LP2 hoher Helligkeit in den zweiten Differenzbilddaten SD2. Insbesondere ist die Helligkeit in dem Überlappungsabschnitt der ersten und zweiten Differenzbilddaten SD1, SD2 in den ersten Differenzbilddaten SD1 gleich der Helligkeit im Überlappungsschnitt der ersten und zweiten Differenzbilddaten SD1, SD2 in den zweiten Differenzbilddaten SD2.
In diesem Fall liefern die Zweifachdifferenzbilddaten hohe Helligkeit an den ersten und zweiten Reflexionspositionen LP1, LP2 hoher Helligkeit und null Helligkeit an den anderen Abschnitten der ersten und zweiten Reflexionspositionen LP1, LP2 hoher Helligkeit, welche in dem Überlappungsabschnitt der ersten und zweiten Differenzbilddaten SD1, SD2 liegen.
Genauer gesagt, die Helligkeit an den ersten und zweiten Reflexionspositionen LP1, LP2 hoher Helligkeit in den Zweifachdifferenzbilddaten ist hoch. Die Helligkeit an den anderen Abschnitten der ersten und zweiten Reflexionspositionen LP1, LP2 hoher Helligkeit in den Zweifachdifferenzbilddaten ist null. Folglich kann der Abschnitt hoher Helligkeit problemlos erkannt werden.
Daher ist es nicht notwendig, einen Schwellenwert zur Erkennung des Abschnitts hoher Helligkeit zu verwenden. Somit vermeidet die Bildaufnahmevorrichtung 1 die Erkennung eines Abschnitts anders der Abschnitt hoher Helligkeit als Abschnitt hoher Helligkeit in einem Fall, wo der Schwellenwert ein gewisser Wert ist, und vermeidet weiterhin die Nichterkennung des Abschnitts hoher Helligkeit in einem Fall, wo der Schwellenwert ein anderer bestimmter Wert ist. Folglich wird die Zuverlässigkeit bei der Erkennung des Abschnitts hoher Helligkeit verbessert.
Nachfolgend werden die ersten Differenzbilddaten SD1 mit den Zweifachdifferenzbilddaten verglichen. Somit wird der Abschnitt hoher Helligkeit in den ersten Differenzbilddaten SD1 spezifiziert. Weiterhin werden die zweiten Differenzbilddaten SD2 mit den Zweifachdifferenzbilddaten verglichen. Somit wird der Abschnitt hoher Helligkeit in den zweiten Differenzbilddaten SD2 spezifiziert.
Dann wird die Bildinformation an der ersten Reflexionsposition LP1 hoher Helligkeit in den ersten Differenzbilddaten SD1 durch die Bildinformation an der ersten Reflexionsposition LP1 hoher Helligkeit in den zweiten Differenzbilddaten SD2 ersetzt. Alternativ wird die Bildinformation an der zweiten Reflexionsposition LP2 hoher Helligkeit in den zweiten Differenzbilddaten SD2 durch die Bildinformation an der zweiten Reflexionsposition LP2 hoher Helligkeit in den ersten Differenzbilddaten SD1 ersetzt. Somit wird die Helligkeit des Abschnitts hoher Helligkeit reproduziert.
Somit ist es nicht notwendig, die Helligkeit in dem Abschnitt hoher Helligkeit durch die Helligkeit in einem umgebenden Abschnitt zu ersetzen. Stattdessen wird die Helligkeit des Abschnitts hoher Helligkeit mit der Bildinformation des Abschnitts hoher Helligkeit ersetzt, welche gerade aus dem aufgenommenen Bild erhalten wird. Folglich wird die Reproduzierbarkeit der Helligkeit in dem Abschnitt hoher Helligkeit verbessert.
Das von den Beleuchtungselementen 4, 5 abgegebene Licht ist nahes Infrarotlicht. Wenn die beiden Beleuchtungselemente 4, 5 kein Licht abgeben, nimmt die Kamera 2 das Gesicht des Fahrers DR auf, so dass die Nichtbeleuchtungsbildaufnahmedaten CD1 im Schritt S30 erzeugt werden.
Folglich können die Nichtbeleuchtungsbildaufnahmedaten CD1 Einfluss von Licht anders als dem nahen Infrarotlicht enthalten, also Umgebungslicht von außen, beispielsweise Sonnenlicht. Jedoch enthalten die Nichtbeleuchtungsbildaufnahmedaten CD1 keinen Einfluss von nahem Infrarotlicht. Folglich werden die Erstbeleuchtungsbildaufnahmedaten CD2 im Schritt S80, die Zweitbeleuchtungsbildaufnahmedaten CD3 im Schritt S150, die ersten Differenzbilddaten SD1 aus der Differenz zwischen den Nichtbeleuchtungsbildaufnahmedaten CD1 und den Erstbeleuchtungsbildaufnahmedaten CD2 und die zweiten Differenzbilddaten SD2 aus der Differenz zwischen den Nichtbeleuchtungsbildaufnahmedaten CD1 und den Zweitbeleuchtungsbildaufnahmedaten CD3 erzeugt, so dass Aufnahmebilddaten erhalten werden, bei denen Einfluss von Licht anders als dem nahen Infrarotlicht verringert ist.
Der Reflexionslichtentfernungsprozess gemäß 4 liefert das Bild, in welchem der Abschnitt hoher Helligkeit reproduziert ist. Dieser Prozess wird unter Bezugnahme auf die 5 und 6 erläutert.
5 zeigt die Nichtbeleuchtungsbildaufnahmedaten CD1, die Erstbeleuchtungsbildaufnahmedaten CD2, die Zweitbeleuchtungsbildaufnahmedaten CD3, die ersten Differenzbilddaten SD1 und die zweiten Differenzbilddaten SD2, die aus den Bildern des Gesichts des Fahrers DR erhalten, welcher eine Brille trägt. 6 zeigt die ersten Differenzbilddaten SD1 und die zweiten Differenzbilddaten SD2, die Additionsbilddaten AD1, den Absolutwert der Differenzbilddaten SD3 und die dritten Differenzbilddaten SD4, welche aus einer Verarbeitung der Bilder des Gesichts des Fahrers DR erhalten werden, welcher eine Brille trägt.
Die Nichtbeleuchtungsbildaufnahmedaten CD1 werden von dem Bild erhalten, das unter der Bedingung aufgenommen wurde, dass das Paar von Beleuchtungselementen 4, 5 kein nahes Infrarotlicht emittiert. Gemäß 5 geben die Nichtbeleuchtungsbildaufnahmedaten CD1 ein Bild wieder, welches über die gesamte Gesichtsfläche hinweg niedrige Helligkeit hat. Weiterhin geben die Erstbeleuchtungsbildaufnahmedaten CD2 ein Bild wieder, das unter einer Bedingung aufgenommen wurde, bei der das erste Beleuchtungselement 4 das nahe Infrarotlicht auf das Gesicht des Fahrers DR von einer diagonal von vorne rechten Seite des Fahrers DR strahlt. Somit ist die Helligkeit auf der linken Gesichtshälfte niedrig und die Helligkeit im anderen Abschnitt des Bilds vergleichsweise hoch. Die Zweitbeleuchtungsbildaufnahmedaten CD3 geben das Bild wieder, das unter der Bedingung gemacht wurde, dass das zweite Beleuchtungselement 5 das nahe Infrarotlicht auf das Gesicht des Fahrers DR von einer diagonal von vorne linken Seite des Fahrers DR strahlt. Somit ist die Helligkeit in der rechten Gesichtshälfte niedrig und die Helligkeit im anderen Abschnitt des Bilds vergleichsweise hoch.
Somit geben die ersten Differenzbilddaten SD1, welche erhalten werden durch Subtraktion der Helligkeit der Erstbeleuchtungsbildaufnahmedaten CD2 von der Helligkeit der Nichtbeleuchtungsbildaufnahmedaten CD1, das Bild des Gesichts wieder, von dem ein Teil des Bilds, der die linke Gesichtshälfte liefert, entfernt ist. Die zweiten Differenzbilddaten SD2, die erhalten werden durch Subtraktion der Helligkeit der Zweitbeleuchtungsbildaufnahmedaten CD3 von der Helligkeit der Nichtbeleuchtungsbildaufnahmedaten CD1, geben das Bild des Gesichts wieder, von dem ein Teil des Bilds, welcher die rechte Gesichtshälfte liefert, entfernt ist.
Somit ist der Teil des Bilds, der die linke Gesichtshälfte liefert, aus dem Bild der ersten Differenzbilddaten SD1 entfernt, und der Teil des Bilds wird aufgenommen durch Empfang von Licht anders als nahem Infrarotlicht, das an der linken Hälfte reflektiert wird. Der Teil des Bilds, der die rechte Gesichtshälfte liefert, ist aus dem Bild der zweiten Differenzbilddaten SD2 entfernt, und der Teil des Bilds wird aufgenommen durch Empfang von Licht anders als nahem Infrarotlicht, das an der rechten Hälfte reflektiert wird.
Hierbei ist die Reflexionsposition LP1 hoher Helligkeit der ersten Differenzbilddaten SD1 unterschiedlich zu der zweiten Reflexionsposition LP2 hoher Helligkeit der zweiten Differenzbilddaten SD2.
Gemäß den 6A und 6B ist die Helligkeit der ersten Reflexionsposition LP1 hoher Helligkeit der ersten Differenzbilddaten SD1 als beispielsweise 230 definiert. Die Helligkeit an den anderen Abschnitten der ersten Differenzbilddaten SD1 ist beispielsweise als 100 definiert. Die Helligkeit der zweiten Reflexionsposition LP2 hoher der zweiten Differenzbilddaten SD2 ist beispielsweise als 230 definiert. Die Helligkeit an den anderen Abschnitten der zweiten Differenzbilddaten SD2 ist beispielsweise als 200 definiert.
In diesem Fall haben die Additionsbilddaten AD1, erhalten durch Addition der ersten Differenzbilddaten SD1 und der zweiten Differenzbilddaten SD2, eine Helligkeit von 330 an den ersten und zweiten Reflexionspositionen LP1, LP2 hoher Helligkeit, die Helligkeit von 200 in einem mittigen Abschnitt des Gesichts anders als die ersten und zweiten Reflexionspositionen LP1, LP2 hoher Helligkeit und die Helligkeit von 100 an den rechten und linken Gesichtsperipherien, wie in 6C gezeigt.
Weiterhin hat der Absolutwert der Differenzbilddaten SD3, der ein Absolutwert der Differenz zwischen der Helligkeit der ersten Differenzbilddaten SD1 und der Helligkeit der zweiten Differenzbilddaten SD2 ist, die Helligkeit von 130 an den ersten und zweiten Reflexionspositionen LP1, LP2 hoher Helligkeit, die Helligkeit von null in dem mittigen Abschnitt des Gesichts anders als die ersten und zweiten Reflexionspositionen LP1, LP2 hoher Helligkeit und die Helligkeit von 100 an den rechten und linken Gesichtsperipherien, wie in 6D gezeigt.
Somit haben die dritten Differenzbilddaten SD4, die erhalten werden durch Subtraktion der Helligkeit des Absolutwerts der Differenzbilddaten SD3 von der Helligkeit der Additionsbilddaten AD1, die Helligkeit von 200 an den ersten und zweiten Reflexionspositionen LP1, LP2 hoher Helligkeit, die Helligkeit von 200 in dem mittigen Abschnitt des Gesichts anders als die ersten und zweiten Reflexionspositionen LP1, LP2 hoher Helligkeit und die Helligkeit von null an den rechten und linken Gesichtsperipherien, wie in 6E gezeigt.
Die Bildaufnahmevorrichtung 1 führt den Reflexionslichtentfernungsprozess durch, so dass das nachfolgende Ergebnis erhalten wird.
7A zeigt die Nichtbeleuchtungsbildaufnahmedaten CD1, erhalten durch Aufnahme des Gesichts eines Menschen HM, der nach vorne blickt und eine große Brille trägt. 7B ist einer erläuternde Darstellung der Nichtbeleuchtungsbildaufnahmedaten CD1 aus 7A. 7C zeigt die Erstbeleuchtungsbildaufnahmedaten CD2 und 7D ist eine erläuternde Darstellung der Erstbeleuchtungsbildaufnahmedaten CD2 von 7C. 7E zeigt die Zweitbeleuchtungsbildaufnahmedaten CD3 und 7F ist eine erläuternde Darstellung der Zweitbeleuchtungsbildaufnahmedaten CD3 von 7E. 7G zeigt die ersten Differenzbilddaten SD1 und 7H ist eine erläuternde Darstellung der ersten Differenzbilddaten SD1 von 7G. 7I zeigt die zweiten Differenzbilddaten SD2 und 7J ist eine erläuternde Darstellung der zweiten Differenzbilddaten SD2 von 7J. 7K zeigt die dritten Differenzbilddaten SD4 und 7L ist eine erläuternde Darstellung der dritten Differenzbilddaten SD4 von 7K.
In den Nichtbeleuchtungsbildaufnahmedaten CD1 liegt der erste Abschnitt HB1 hoher Helligkeit aufgrund von externem Licht an einer oberen Seite des Menschen HM und das Hintergrundobjekt BO liegt hinter dem Menschen HM.
In den Erstbeleuchtungsbildaufnahmedaten CD2 befinden sich der erste Abschnitt HB1 hoher Helligkeit, das Hintergrundobjekt BO und der zweite Abschnitt HB2 hoher Helligkeit aufgrund von nahem Infrarotlicht von dem Beleuchtungselement 4.
In den Zweitbeleuchtungsbildaufnahmedaten CD3 befinden sich der erste Abschnitt HB1 hoher Helligkeit, das Hintergrundobjekt BO und der dritte Abschnitt HB3 hoher Helligkeit aufgrund von nahem Infrarotlicht von dem Beleuchtungselement 5.
In den ersten Differenzbilddaten SD1 sind der ersten Abschnitt HB1 hoher Helligkeit und das Hintergrundobjekt BO nicht angeordnet, und der zweite Abschnitt HB2 hoher Helligkeit ist angeordnet. Somit liefern die ersten Differenzbilddaten SD1 das Bild, aus welchem ein Teil des Bilds entfernt ist, wobei dieser Teil von externem Licht anders als nahem Infrarotlicht aufgenommen wurde und der erste Abschnitt HB1 hoher Helligkeit und das Hintergrundobjekt BO ist.
Auf ähnliche Weise befinden sich in den zweiten Differenzbilddaten SD2 der erste Abschnitt HB1 hoher Helligkeit und das Hintergrundobjekt BO nicht, und der dritte Abschnitt HB3 hoher Helligkeit befindet sich dort. Somit liefern die zweiten Differenzbilddaten SD2 ein Bild, aus welchem ein Teil des Bilds entfernt ist, wobei der Teil durch externes Licht anders als das nahe Infrarotlicht aufgenommen ist und der erste Abschnitt HB1 hoher Helligkeit und das Hintergrundobjekt BO ist.
In den dritten Differenzbilddaten SD4 befinden sich die ersten bis dritten Abschnitt HB1-HB3 hoher Helligkeit und das Hintergrundobjekt BO nicht. Somit liefern die dritten Differenzbilddaten SD4 ein Bild, aus welchem ein Teil des Bilds entfernt ist, wobei der Teil durch externes Licht anders als das nahe Infrarotlicht aufgenommen ist, und weiterhin sind die zweiten und dritten Abschnitte HB2-HB3 hoher Helligkeit in dem Bild reproduziert.
8A zeigt die Nichtbeleuchtungsbildaufnahmedaten CD1, erhalten durch Aufnahme des Gesichts des Menschen HM, der nach vorne blickt und eine kleine Brille trägt. 8B ist eine erläuternde Darstellung der Nichtbeleuchtungsbildaufnahmedaten CD1 aus 8A. 8C zeigt die Erstbeleuchtungsbildaufnahmedaten CD2 und 8D ist eine erläuternde Darstellung der Erstbeleuchtungsbildaufnahmedaten CD2 von 8C. 8E zeigt die Zweitbeleuchtungsbildaufnahmedaten CD3 und 8F ist eine erläuternde Darstellung der Zweitbeleuchtungsbildaufnahmedaten CD3 von 8E. 8G zeigt die ersten Differenzbilddaten SD1 und 8H ist eine erläuternde Darstellung der ersten Differenzbilddaten SD1 von 8G. 8I zeigt die zweiten Differenzbilddaten SD2 und 8J ist eine erläuternde Darstellung der zweiten Differenzbilddaten SD2 von 8J. 8K zeigt die dritten Differenzbilddaten SD4 und 8L ist eine erläuternde Darstellung der dritten Differenzbilddaten SD4 von 8K.
Gemäß den 8A-8L werden, auch wenn der Mensch HM die kleine Brille trägt, die zweiten und dritten Abschnitte HB2-HB3 hoher Helligkeit in dem Bild der dritten Differenzbilddaten SD4 wiedergegeben.
9A zeigt die Nichtbeleuchtungsbildaufnahmedaten CD1, erhalten durch Aufnahme des Gesichts des Menschen HM, der schräg nach vorne blickt und eine große Brille trägt. 9B ist eine erläuternde Darstellung der Nichtbeleuchtungsbildaufnahmedaten CD1 von 9A. 9C zeigt die Erstbeleuchtungsbildaufnahmedaten CD2 und 9D ist eine erläuternde Darstellung der Erstbeleuchtungsbildaufnahmedaten CD2 von 9C. 9E zeigt die Zweitbeleuchtungsbildaufnahmedaten CD3 und 9F ist eine erläuternde Darstellung der Zweitbeleuchtungsbildaufnahmedaten CD3 von 9E. 9G zeigt die ersten Differenzbilddaten SD1 und 9H ist eine erläuternde Darstellung der ersten Differenzbilddaten SD1 von 9G. 9I zeigt die zweiten Differenzbilddaten SD2 und 9J ist eine erläuternde Darstellung der zweiten Differenzbilddaten SD2 von 9J. 9K zeigt die dritten Differenzbilddaten SD4 und 9L ist eine erläuternde Darstellung der dritten Differenzbilddaten SD4 von 9K.
Gemäß den 9A-9L werden, auch wenn der Mensch HM schräg nach vorne blickt und die große Brille trägt, die zweiten und dritten Abschnitte HB2-HB3 hoher Helligkeit in dem Bild der dritten Differenzbilddaten SD4 wiedergegeben.
10 zeigt ein Zeitdiagramm zur Erläuterung eines Erzeugungsverfahrens für die dritten Differenzbilddaten SD4.
Die Kamera 2 nimmt Bilder des Gesichts des Menschen HM zu jeden bestimmten Zeiten (Zeitintervallen) Tc auf. Das erste Beleuchtungselement 4 emittiert nahes Infrarotlicht bei allen dreifachen Zeitintervallen 3Tc des Aufnahmezeitintervalls Tc, um Übereinstimmung mit der Zeit zu haben, zu der die Kamera 2 ein Bild des Gesichts aufnimmt. Das zweite Beleuchtungselement 5 emittiert das nahe Infrarotlicht bei allen dreifachen Zeitintervallen 3Tc des Aufnahmezeitintervalls Tc, um eine Übereinstimmung mit der Zeit zu haben, zu der die Kamera 2 ein Bild des Gesichts aufnimmt, nachdem das Aufnahmezeitintervall Tc seit der Beleuchtung durch das erste Beleuchtungselement 4 verstrichen ist.
Folglich erzeugt die Bildaufnahmevorrichtung 1 die Nichtbeleuchtungsbildaufnahmedaten CD1, die Erstbeleuchtungsbildaufnahmedaten CD2 und die Zweitbeleuchtungsbildaufnahmedaten CD3 in dieser Reihenfolge bei jedem Aufnahmezeitintervall Tc.
Die Bildaufnahmevorrichtung 1 erzeugt die ersten Differenzbilddaten SD1, nachdem jeder Wert der Erstbeleuchtungsbildaufnahmedaten CD2 erzeugt wurde. Weiterhin erzeugt die Bildaufnahmevorrichtung 1 die zweiten Differenzbilddaten SD2, nachdem jeder Wert der Zweitbeleuchtungsbildaufnahmedaten CD3 erzeugt wurde.
Weiterhin erzeugt die Bildaufnahmevorrichtung 1 die dritten Differenzbilddaten SD4, nachdem jeder Wert der zweiten Differenzbilddaten SD2 erzeugt wurde. Somit erzeugt die Bildaufnahmevorrichtung 1 die dritten Differenzbilddaten SD4 zu jedem Dreifachwert 3Tc des Aufnahmezeitintervalls Tc.
Die Kamera 2 ist mittig zwischen der Anordnungsposition des ersten Beleuchtungselements 4 und der Anordnungsposition des zweiten Beleuchtungselements 5 angeordnet. Folglich ist im Vergleich zu einem Fall, wo die Kamera 2 nahe der Anordnungsposition des ersten oder zweiten Beleuchtungselements 4 oder 5 angeordnet ist, eine Differenz zwischen dem ersten aufgenommenen Bild und einem zweiten aufgenommenen Bild verringert. Hierbei ist das erste aufgenommene Bild als ein Bild definiert, das durch die Erstbeleuchtungsbildaufnahmedaten CD2 geliefert wird, und das zweite aufgenommene Bild ist als Bild definiert, das von den Zweitbeleuchtungsbildaufnahmedaten CD3 geliefert wird. Somit überlappt ein Bild des Aufnahmeobjekts in dem ersten aufgenommenen Bild sehr stark ein Bild des Aufnahmeobjekts im zweiten aufgenommenen Bild. Folglich ist ein Abschnitt des von der Kamera 2 aufgenommenen Bilds, in welchem die Helligkeit des Abschnitts hoher Helligkeit reproduzierbar ist, groß.
Die Bildaufnahmevorrichtung 1 ist im Fahrzeug angeordnet, so dass die Vorrichtung 1 das Gesicht des Fahrers DR aufnimmt, der das Fahrzeug fährt. Die Reproduzierbarkeit des Abschnitts hoher Helligkeit im Bild des Gesichts des Fahrers ist hoch. Selbst wenn somit ein Teil des Bilds entsprechend einem Auge des Fahrers hohe Helligkeit hat, wird die Bildinformation des Auges des Fahrers im Bild des Gesichts des Fahrers reproduziert. Folglich wird die Erkennungsgenauigkeit einer Gesichtsausrichtung und/oder Blickrichtung verbessert.
In der vorliegenden Ausführungsform ist das erste Beleuchtungselement 4 für nahes Infrarotlicht das erste lichtemittierende Element und das zweite Beleuchtungselement 5 für nahes Infrarotlicht ist das zweite lichtemittierende Element. Die Kamera ist eine Aufnahmevorrichtung. Der Ablauf in den Schritten S70 und S100 liefert ein erstes Beleuchtungssteuerelement bzw. eine erste Beleuchtungssteuerprozedur. Der Ablauf im Schritt S80 liefert ein erstes Bilderhaltungselement (einen derartigen Prozess). Der Ablauf in den Schritten S40 und S170 liefert ein zweites Beleuchtungssteuerelement (einen derartigen Prozess). Der Ablauf im Schritt S150 liefert ein zweites Bilderhaltungselement (einen derartigen Prozess).
Der Ablauf im Schritt S190 liefert ein Bildaddierungselement (einen derartigen Prozess). Der Ablauf im Schritt S200 liefert ein erstes Bilddifferenzelement (einen derartigen Prozess). Der Ablauf im Schritt S210 liefert ein zweites Bilddifferenzelement (einen derartigen Prozess). Der Ablauf im Schritt S30 liefert ein drittes Bilderhaltungselement (einen derartigen Prozess). Die Erstbeleuchtungsbildaufnahmedaten CD2 liefern ein Erstaufnahmebild und die Zweitbeleuchtungsbildaufnahmedaten CD3 liefern ein Zweitaufnahmebild. Die Additionsbilddaten AD1 liefern ein Additionsbild. Der Absolutwert der Differenzbilddaten SD3 liefert ein erstes Differenzbild und die dritten Differenzbilddaten SD4 liefern ein zweites Differenzbild.
<Zweite Ausführungsform>
Die Bildaufnahmevorrichtung 1 gemäß einer zweiten Ausführungsform führt unabhängig einen Beleuchtungs- und Aufnahmeprozess, einen Differenzbilderzeugungsprozess und einen Abbildungsprozess mit entferntem Reflexionslicht anstelle des Reflexionslichtentfernungsprozesses durch. Der Beleuchtungs- und Aufnahmeprozess liefert eine Steuerung von Beleuchtungszeit mit nahem Infrarotlicht und Aufnahmezeit der Kamera 2. Der Differenzbilderzeugungsprozess dient zur Erzeugung der ersten Differenzbilddaten SD1 und der zweiten Differenzbilddaten SD2. Der Abbildungsprozess mit entferntem Reflexionslicht dient zur Erzeugung eines Bilds, aus welchem Einflüsse von Reflexionslicht entfernt sind.
Der Beleuchtungs- und Aufnahmeprozess, der von der Steuerung 6 in der Vorrichtung 1 durchgeführt wird, wird unter Bezugnahme auf 11 beschrieben. 11 ist ein Flussdiagramm des Beleuchtungs- und Aufnahmeprozesses. Dieser Beleuchtungs- und Aufnahmeprozess wird wiederholt, während die Steuerung 6 einschaltet, d. h. in Betrieb ist.
Wenn der Beleuchtungs- und Aufnahmeprozess durchgeführt wird, bestimmt die Steuerung 6 im Schritt S310, ob ein Erstaufnahmebestimmungszeitwert gleich oder größer als ein vorbestimmter Aufnahmeintervallzeitwert ist.
Wenn der Erstaufnahmebestimmungszeitwert kleiner als der Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S310 NEIN ist, wird Schritt S310 wiederholt. Wenn der Erstaufnahmebestimmungszeitwert gleich oder größer als der Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S310 JA ist, wird im Schritt S320 der Erstaufnahmebestimmungszeitwert auf null zurückgesetzt. Dann wird im Schritt S330 ein Bild von der Kamera 2 aufgenommen und Daten des von der Kamera 2 aufgenommenen Bilds werden erzeugt. Die Daten des Bilds sind als Aufnahmebilddaten definiert. Die Aufnahmebilddaten aus Schritt S330 werden als Nichtbeleuchtungsbildaufnahmedaten CD1 definiert. Dann werden im Schritt S340 die Nichtbeleuchtungsbildaufnahmedaten CD1 im RAM der Steuerung 6 gespeichert.
Dann bestimmt im Schritt S350 die Steuerung 6, ob der Erstaufnahmebestimmungszeitwert gleich oder größer als der Aufnahmeintervallbestimmungswert ist. Wenn der Erstaufnahmebestimmungszeitwert kleiner als der Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S350 NEIN ist, wird Schritt S350 wiederholt. Wenn der Erstaufnahmebestimmungszeitwert gleich oder größer als der Aufnahmeintervallbestimmungswert, das heißt, wenn die Bestimmung im Schritt S350 JA ist, wird im Schritt S360 der Erstaufnahmebestimmungszeitwert auf null zurückgesetzt. Dann steuert im Schritt S370 die Steuerung 6 das erste Beleuchtungselement 4, um mit der Abstrahlung von nahem Infrarotlicht zu beginnen.
Dann wird im Schritt S380 ein Bild von der Kamera 2 aufgenommen und Daten des von der Kamera 2 aufgenommenen Bilds werden erzeugt. Die Daten des Bilds werden als Bildaufnahmedaten definiert. Die Aufnahmebilddaten vom Schritt S380 sind als Erstbeleuchtungsbildaufnahmedaten CD2 definiert. Dann werden im Schritt S390 die Erstbeleuchtungsbildaufnahmedaten CD2 im RAM der Steuerung 6 gespeichert. Weiterhin steuert im Schritt S400 die Steuerung 6 das erste Beleuchtungselement 4, um die Bestrahlung mit nahem Infrarotlicht zu beenden.
Dann bestimmt im Schritt S410 die Steuerung 6, ob der Erstaufnahmebestimmungszeitwert gleich oder größer als der Erstaufnahmeintervallbestimmungswert ist. Wenn der Erstaufnahmebestimmungszeitwert kleiner als der Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S410 NEIN ist, wird Schritt S410 wiederholt. Wenn der Erstaufnahmebestimmungszeitwert gleich oder größer als der Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S410 JA ist, wird im Schritt S420 der Erstaufnahmebestimmungszeitwert auf null zurückgesetzt. Dann steuert im Schritt S430 die Steuerung 6 das zweite Beleuchtungselement 5, um mit der Abstrahlung von nahem Infrarotlicht zu beginnen.
Dann wird im Schritt S440 ein Bild von der Kamera 2 aufgenommen und Daten des von der Kamera 2 aufgenommenen Bilds werden erzeugt. Die Daten des Bilds sind als Bildaufnahmedaten definiert. Die Bildaufnahmedaten vom Schritt S440 sind als Zweitbeleuchtungsbildaufnahmedaten CD3 definiert. Dann werden im Schritt S450 die Zweitbeleuchtungsbildaufnahmedaten CD3 im RAM der Steuerung 6 gespeichert. Dann steuert im Schritt S460 die Steuerung 6 das zweite Beleuchtungselement 5, um die Bestrahlung mit nahem Infrarotlicht zu beenden.
Nachfolgend wird der Differenzbilderzeugungsprozess, der von der Steuerung 6 der Vorrichtung 1 durchgeführt wird, unter Bezugnahme auf 12 beschrieben. 12 ist ein Flussdiagramm des Differenzbilderzeugungsprozesses. Der Differenzbilderzeugungsprozess wird wiederholt, während die Steuerung 6 eingeschaltet ist, d. h. in Betrieb ist.
Wenn der Differenzbilderzeugungsprozess durchgeführt wird, bestimmt die Steuerung 6, ob ein Zweitaufnahmebestimmungszeitwert gleich oder größer als ein vorbestimmter Aufnahmeintervallbestimmungswert ist. Hierbei wird der Zweitaufnahmebestimmungszeitwert in dem Zweitaufnahmebestimmungstimer TM2 gesetzt, der ein Timer ist, der den Wert automatisch periodisch inkrementiert, beispielsweise im Mikrosekundentakt. Wenn der Zweitaufnahmebestimmungszeitwert zu einem bestimmten Zeitpunkt auf null zurückgesetzt ist, inkrementiert der Zweitaufnahmebestimmungstimer TM2 den Zweitaufnahmebestimmungszeitwert ab dieser Zeit von null aus. Weiterhin beginnt der Zweitaufnahmebestimmungstimer TM2 zu inkrementieren, nachdem eine vorbestimmte erste Verzögerungszeit ausgehend von einer Zeit verstrichen ist, zu der der Erstaufnahmebestimmungstimer TM1 unmittelbar nach Aktivieren der Steuerung 6 begonnen hat, zu inkrementieren.
Wenn hierbei der Zweitaufnahmebestimmungstimerwert kleiner als Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S510 NEIN ist, wird Schritt S510 wiederholt. Wenn der Zweitaufnahmebestimmungstimerwert gleich oder größer als der Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S510 JA ist, wird im Schritt S520 der Zweitaufnahmebestimmungstimer auf null zurückgesetzt. Dann wird im Schritt S530 eine Differenz zwischen der Helligkeit der Nichtbeleuchtungsbildaufnahmedaten CD1 aus Schritt S330 und der Helligkeit der Erstbeleuchtungsbildaufnahmedaten CD2 aus Schritt S80 berechnet, so dass Bilddaten als erste Differenzbilddaten SD1 erhalten werden.
Dann bestimmt im Schritt S540 die Steuerung 6, ob der Zweitaufnahmebestimmungstimerwert gleich oder größer als der Aufnahmeintervallbestimmungswert ist. Wenn der Zweitaufnahmebestimmungstimerwert kleiner als der Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S540 NEIN ist, wird Schritt S540 wiederholt. Wenn der Zweitaufnahmebestimmungstimerwert gleich oder größer als der Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S540 JA ist, wird im Schritt S550 der Zweitaufnahmebestimmungstimerwert auf null zurückgesetzt. Dann wird im Schritt S560 die Differenz zwischen der Helligkeit der Nichtbeleuchtungsbildaufnahmedaten CD1 aus Schritt S330 und der Helligkeit der Zweitaufnahmebilddaten CD3 aus Schritt S440 berechnet, so dass Bilddaten als zweite Differenzbilddaten SD2 erhalten werden. Damit endet der Differenzbilderzeugungsprozess.
Nachfolgend wird der Abbildungsprozess mit entferntem Reflexionslicht, der von der Steuerung 6 in der Vorrichtung 1 durchgeführt wird, unter Bezugnahme auf 13 beschrieben. 13 ist ein Flussdiagramm des Abbildungsprozesses mit entferntem Reflexionslicht. Der Abbildungsprozess mit entferntem Reflexionslicht wird wiederholt, während die Steuerung 6 eingeschaltet ist, d. h. in Betrieb ist.
Wenn der Abbildungsprozess mit entferntem Reflexionslicht durchgeführt wird, bestimmt die Steuerung 6, ob ein Drittaufnahmebestimmungstimerwert gleich oder größer als ein vorbestimmter Aufnahmeintervallbestimmungswert ist. Hierbei wird der Drittaufnahmebestimmungstimerwert in dem Drittaufnahmebestimmungstimer TM3 gesetzt, der ein Timer ist, der den Wert automatisch periodisch, beispielsweise im Mikrosekundenschritt, inkrementiert. Wenn der Drittaufnahmebestimmungstimerwert zu einer bestimmten Zeit auf null zurückgesetzt ist, inkrementiert der Drittaufnahmebestimmungstimer TM den Drittaufnahmebestimmungstimerwert ab dieser Zeit von null aus. Weiterhin beginnt der Drittaufnahmebestimmungstimer TM3 damit, nach einer bestimmten zweiten Verzögerungszeit, die ausgehend von einer Zeit verstrichen ist, zu der der Zweitaufnahmebestimmungstimer TM2 unmittelbar nach Aktivierung der Steuerung 6 zu inkrementieren begonnen hat, zu inkrementieren.
Wenn hierbei der Drittaufnahmebestimmungstimerwert kleiner als der Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S610 NEIN ist, wird Schritt S610 wiederholt. Wenn der Drittaufnahmebestimmungstimerwert gleich oder größer als der Aufnahmeintervallbestimmungswert ist, das heißt, wenn die Bestimmung im Schritt S610 JA ist, wird im Schritt S620 der Drittaufnahmebestimmungstimerwert auf null zurückgesetzt.
Dann werden im Schritt S630 die ersten Differenzbilddaten SD1 aus Schritt S530 und die zweiten Differenzbilddaten SD2 aus Schritt S560 addiert, so dass Additionsbilddaten AD1 erhalten werden. Weiterhin wird im Schritt S640 ein Absolutwert einer Differenz zwischen der Helligkeit der ersten Differenzbilddaten SD1 aus Schritt S530 und der Helligkeit der zweiten Differenzbilddaten SD2 aus Schritt S560 berechnet, so dass Bilddaten als ein Absolutwert der Differenzbilddaten SD3 erhalten werden.
Dann wird im Schritt S650 eine Differenz zwischen der Helligkeit in den Additionsbilddaten AD1 aus Schritt S630 und der Helligkeit des Absolutwerts der Differenzbilddaten SD3 aus Schritt S640 berechnet, so dass Bilddaten als dritte Differenzbilddaten SD4 erhalten werden. Damit endet der Abbildungsprozess mit entferntem Reflexionslicht.
14 zeigt ein Zeitdiagramm zur Erläuterung eines Erzeugungsverfahrens für die dritten Differenzbilddaten SD4.
Die Kamera 2 nimmt Bilder des Gesichts des Menschen HM zu bestimmten Zeitintervallen Tc auf. Das erste Beleuchtungselement emittiert nahes Infrarotlicht bei jedem dreifachen Zeitintervall 3Tc des Aufnahmezeitintervalls Tc, um Übereinstimmung mit der Zeit zu haben, zu der die Kamera 2 ein Bild des Gesichts aufnimmt. Das zweite Beleuchtungselement 5 emittiert nahes Infrarotlicht zu jeden dreifachen Zeitintervallen 3Tc des Aufnahmezeitintervalls Tc, um Übereinstimmung mit der Zeit zu haben, zu der die Kamera 2 ein Bild des Gesichts aufnimmt, nachdem das Aufnahmezeitintervall Tc seit der Bestrahlung durch das erste Beleuchtungselement 4 verstrichen ist.
Folglich erzeugt die Bildaufnahmevorrichtung 1 die Nichtbeleuchtungsbildaufnahmedaten CD1, die Erstbeleuchtungsbildaufnahmedaten CD2 und die Zweitbeleuchtungsbildaufnahmedaten CD3 in dieser Reihenfolge zu jedem Aufnahmezeitintervall Tc.
Die Vorrichtung 1 führt einen Prozess zur Erzeugung der ersten Differenzbilddaten SD1 und einen Prozess zur Erzeugung der zweiten Differenzbilddaten SD2 abwechselnd durch. Der Prozess zur Erzeugung der ersten Differenzbilddaten SD1 wird durchgeführt unter Verwendung der jüngsten Nichtbeleuchtungsbildaufnahmedaten CD1 und der jüngsten Erstbeleuchtungsbildaufnahmedaten CD2. Der Prozess zur Erzeugung der zweiten Differenzbilddaten SD2 wird durchgeführt unter Verwendung der jüngsten Nichtbeleuchtungsbildaufnahmedaten CD1 und der jüngsten Zweitbeleuchtungsbildaufnahmedaten CD3.
Die Vorrichtung 1 erzeugt die dritten Differenzbilddaten SD4 unter Verwendung der jüngsten ersten Differenzbilddaten SD1 und der jüngsten zweiten Differenzbilddaten SD2, nachdem entweder die ersten Differenzbilddaten SD1 oder die zweiten Differenzbilddaten SD2 erzeugt wurden.
Somit erzeugt die Bildaufnahmevorrichtung 1 die dritten Differenzbilddaten SD4 zu jedem Aufnahmezeitintervall Tc.
In den Ausführungsformen nimmt die Vorrichtung 1 ein Gesicht des Fahrers auf. Alternativ kann die Vorrichtung 1 auch andere Objekte aufnehmen. Insbesondere wenn es notwendig ist, den Einfluss von Reflexionslicht von dem Objektbild zu entfernen, liefert die Vorrichtung 1 effektive Ergebnisse.
Obgleich die Vorrichtung 1 das gesamte Gesicht des Fahrers aufnimmt, kann die Vorrichtung 1 auch nur einen Teil des Gesichts, beispielsweise um das Auge eines Fahrers herum, aufnehmen.
In den Ausführungsformen ist die Kamera 2 mittig zwischen der Anordnungsposition des ersten Beleuchtungselements 4 und der Anordnungsposition des zweiten Beleuchtungselements 5 auf der Linie angeordnet, welche die Anordnungsposition des ersten Beleuchtungselements 4 und die Anordnungsposition des zweiten Beleuchtungselements 5 verbindet. Hierbei sei die Linie als eine Beleuchtungselementverbindungslinie definiert. Weiterhin ist die Höhe der Anordnungsposition der Kamera 2 gleich der Höhe der Anordnungsposition der beiden Beleuchtungselemente 4 und 5. Alternativ kann die Kamera 2 zwischen der Anordnungsposition des ersten Beleuchtungselements 4 und der Anordnungsposition des zweiten Beleuchtungselements 5 liegen.
Wie beispielsweise in den 15A und 15B gezeigt, ist, obgleich die Kamera 2 mittig zwischen dem ersten Beleuchtungselement 4 und dem zweiten Beleuchtungselement 5 angeordnet ist, die Höhe der Anordnungsposition der Kamera 2 unterschiedlich zur Höhe der Anordnungsposition der ersten und zweiten Beleuchtungselemente 4 und 5.
Alternativ und wie in den 16A und 16B gezeigt, ist die Höhe der Anordnungsposition des ersten Beleuchtungselements 4 unterschiedlich zur Höhe der Anordnungsposition des zweiten Beleuchtungselements 5. Die Kamera 2 liegt mittig zwischen den ersten und zweiten Beleuchtungselementen 4 und 5.
Die Bestrahlungsrichtung der ersten und zweiten Beleuchtungselemente 4 und 5 für nahes Infrarotlicht können unterschiedlich zu den Richtungen der 3A, 3B, 16A und 16B sein.
Wie beispielsweise in 17A gezeigt, strahlt das erste Beleuchtungselement 4 für nahes Infrarotlicht das nahe Infrarotlicht in Richtung des Gesichts des Fahrers DR entlang einer Abstrahlungsrichtung, die unterschiedlich zu einer Abstrahlungsrichtung des zweiten Beleuchtungselements 5 ist. In diesem Fall unterscheidet sich gemäß den 17B und 17C die erste Reflexionsposition LP1 mit hoher Helligkeit im Bild der Erstbeleuchtungsbildaufnahmedaten CD2 von der zweiten Reflexionsposition LP2 mit hoher Helligkeit im Bild der Zweitbeleuchtungsbildaufnahmedaten CD3.
Alternativ kann gemäß 18A die Kamera 2 eine Linse 21 und einen Bildsensor 23 mit einer Mehrzahl von Bilderfassungselementen 22 auf Halbleiterbasis haben. Das nahe Infrarotlicht, das von dem ersten Beleuchtungselement 4 emittiert wird, wird von dem Gesicht des Fahrers DR reflektiert, und das nahe Infrarotlicht, das vom zweiten Beleuchtungselement 5 emittiert wird, wird vom Gesicht des Fahrers DR reflektiert. Das reflektierte Licht RL1 von dem ersten Beleuchtungselement 4 und das reflektierte Licht RL2 vom zweiten Beleuchtungselement 5 läuft durch die Linse 21 und wird dann auf den Bildsensor 23 geworfen. Die Bilderfassungselemente 22 auf Halbleiterbasis sind am Bildsensor 23 in einem zweidimensionalen Gittermuster angeordnet.
Gemäß 18B erreicht ein Teil des reflektierten Lichts RL1 entsprechend der ersten Reflexionsposition LP1 hoher Helligkeit eine erste Position AP1 auf dem Bildsensor 23. Ein Teil des reflektierten Lichts RL2 entsprechend der zweiten Reflexionsposition LP2 hoher Helligkeit erreicht eine zweite Position AP2 auf dem Bildsensor 23. In diesem Fall ist es notwendig, die Bestrahlungsrichtung der ersten und zweiten Beleuchtungselemente 4, 5 so festzusetzen, dass die ersten und zweiten Positionen AP1 und AP2 voneinander um einen bestimmten Betrag SP gleich oder größer als eine Anordnungsdistanz der Bilderfassungselemente 22 getrennt ist. Dies deshalb, als die erste Position AP1 entsprechend der ersten Reflexionsposition LP1 hoher Helligkeit nicht die zweite Position AP2 entsprechend der zweiten Reflexionsposition LP2 hoher Helligkeit überlappt.
Insbesondere wird die Bestrahlungsrichtung der ersten und zweiten Beleuchtungselemente 4, 5 so gesetzt, dass die erste Position AP1 von der zweiten Position AP2 um eine oder mehrere Bildzellen entfernt ist.
In den Ausführungsformen werden die dritten Differenzbilddaten SD4 unter Verwendung der Formeln F3-F5 erzeugt. Alternativ können die dritten Differenzbilddaten SD4 auch unter Verwendung der folgenden Formeln F6 oder F7 erzeugt werden: $Pg (X,Y) = Pa (X,Y) + Pb (X,Y) - | Pa (X,Y) - Pb (X,Y) | - 2 pn (X,Y)$
$Pg (X,Y) = Pc (X,Y) + Pd (X,Y) - | Pa (X,Y) - Pb (X,Y) |$
Weiterhin in den Ausführungsformen die ersten Differenzbilddaten SD1 und die zweiten Differenzbilddaten SD2 unter Verwendung der Formeln F1 und F2 erzeugt. Weiterhin, wenn die ersten Differenzbildzellendaten Pc (X, Y) kleiner als null sind, werden die ersten Differenzbildzellendaten Pc (X, Y) auf null gesetzt. Wenn die zweiten Differenzbildzellendaten Pd (X, Y) kleiner als null sind, werden die zweiten Differenzbildzellendaten Pd (X, Y) auf null gesetzt. Alternativ, wenn die Lichtmenge von nahem Infrarotlicht von jedem der ersten und zweiten Beleuchtungselemente 4, 5 ausreichend hoch ist, können die ersten Differenzbilddaten SD1 und die zweiten Differenzbilddaten SD2 unter Verwendung der folgenden Formeln F8 und F9 erzeugt werden. In diesem Fall sind die ersten Differenzbildzellendaten Pc (X, Y) und die zweiten Differenzbildzellendaten Pd (X, Y) stets gleich oder größer als null. Folglich ist es nicht notwendig, einen Prozess durchzuführen, um die ersten Differenzbildzellendaten Pc (X, Y) auf null zu setzen, wenn die ersten Differenzbildzellendaten Pc (X, Y) kleiner als null sind; auch kann der Prozess weggelassen werden, um die zweiten Differenzbildzellendaten Pd (X, Y) auf null zu setzen, wenn die zweiten Differenzbildzellendaten Pd (X, Y) kleiner als null sind. $Pc (X,Y) = | Pa (X,Y) - Pn (X,Y) |$
$Pd (X,Y) = | Pb (X,Y) - Pn (X,Y) |$
Weiterhin sind in den Ausführungsformen die Kamera 2 und die ersten und zweiten Beleuchtungselemente 4, 5 nahe dem Instrumentenbrett IP angeordnet. Alternativ können die Kamera 2 und die ersten und zweiten Beleuchtungselemente 4, 5 an unterschiedlichen Stellen angeordnet sein, solange die Kamera 2 ein Gesicht des Fahrers DR aufnimmt und die ersten und zweiten Beleuchtungselemente 4, 5 das nahe Infrarotlicht in Richtung Gesicht des Fahrers DR abstrahlen. Beispielsweise können die Kamera und die ersten und zweiten Beleuchtungselemente 4, 5 nahe einer Lenksäule angeordnet sein.
Die Vorrichtung 1 kann weiterhin eine Anzeige enthalten, um ein Bild der dritten Differenzbilddaten SD4 darzustellen.
Die vorliegende Erfindung weist unter anderem die folgenden Aspekte auf:
Gemäß einem ersten Aspekt weist eine Bildaufnahmevorrichtung zur Aufnahme eines Bilds eines Objekts ein erstes Beleuchtungselement zum Abstrahlen von erstem Licht; ein zweites Beleuchtungselement zum Abstrahlen von zweitem Licht; ein Bildaufnahmeelement zum Aufnehmen eines Bilds von empfangenem Licht; und eine Steuerung auf. Das erste Beleuchtungselement hat einen ersten Beleuchtungsbereich, in welchem das erste Licht von dem ersten Beleuchtungselement verläuft, und das zweite hat einen zweiten Beleuchtungsbereich, in welchem das zweite Licht vom zweiten Beleuchtungselement verläuft. Der erste Beleuchtungsbereich überlappt den zweiten Beleuchtungsbereich teilweise. Das Bildaufnahmeelement ist in einer bestimmten Position derart angeordnet, dass das Bildaufnahmeelement Licht empfängt, das von dem Objekt reflektiert wird, wobei das Licht das erste oder das zweite Licht ist, Das Objekt ist in dem Überlappungsbereich der ersten und zweiten Beleuchtungsbereiche angeordnet und die Steuerung steuert das Bildaufnahmeelement, um ein erstes Bild des Objekts aufzunehmen, wenn das erste Beleuchtungselement das erste Licht abstrahlt, wonach die Steuerung das erste Bild speichert, Die Steuerung steuert das Bildaufnahmeelement, um ein zweites Bild des Objekts aufzunehmen, wenn das zweite Beleuchtungselement das zweite Licht abstrahlt, und die Steuerung speichert auch das zweite Bild.
Hierbei entspricht die obige Vorrichtung einer Vorrichtung gemäß der ersten bzw. zweiten Ausführungsform unter der Bedingung, dass die Helligkeit des Nichtbeleuchtungsbilds null ist. Insbesondere sind sämtliche Nichtbeleuchtungsbildaufnahmedaten CD1 in dem Nichtbeleuchtungsbild null.
Da bei obiger Vorrichtung der erste Beleuchtungs- oder Bestrahlungsbereich sich teilweise mit dem zweiten Beleuchtungs- oder Bestrahlungsbereich überlappt oder überdeckt, ist der erste Beleuchtungsbereich nicht gleich dem zweiten Beleuchtungsbereich. Folglich unterscheidet sich ein erster Abschnitt hoher Helligkeit des Objekts von einem zweiten Abschnitt hoher Helligkeit. Wenn das erste Beleuchtungselement das erste Licht in Richtung des Objekts abstrahlt und das erste Licht an dem Objekt an dem ersten Abschnitt hoher Helligkeit reflektiert wird, wird die Helligkeit des ersten Abschnitts hoher Helligkeit hoch. Wenn das zweite Beleuchtungselement das zweite Licht in Richtung des Objekts abstrahlt und das zweite Licht an dem Objekt an dem zweiten Abschnitt hoher Helligkeit reflektiert wird, wird die Helligkeit des zweiten Abschnitts hoher Helligkeit hoch. Somit verliert das erste Bild in der Steuerung Bildinformationen in dem ersten Abschnitt hoher Helligkeit und das zweite Bild in der Steuerung verliert Bildinformationen in dem zweiten Abschnitt hoher Helligkeit. Jedoch hat das zweite Bild in der Steuerung Bildinformationen des ersten Abschnitts hoher Helligkeit und das erste Bild in der Steuerung hat Bildinformationen des zweiten Abschnitts hoher Helligkeit.
Wenn folglich die ersten und zweiten Bilder verwendet werden, wird der Abschnitt hoher Helligkeit erkannt und die Bildinformation in dem Abschnitt hoher Helligkeit wird ohne Verwendung eines Schwellenwerts reproduziert. Damit wird die Erkennungszuverlässigkeit des Abschnitts hoher Helligkeit verbessert. Weiterhin ist es nicht notwendig, die Helligkeit in dem Abschnitt hoher Helligkeit durch eine Helligkeit von umgebenden Abschnitten zu ersetzen. Da die Helligkeit in dem Abschnitt hoher Helligkeit durch eine Helligkeit in dem Abschnitt hoher Helligkeit ersetzt wird, welche gerade erkannt wird, wird die Reproduzierbarkeit der Helligkeit in dem Abschnitt hoher Helligkeit verbessert.
Die Steuerung kann erste Lichtabstrahlsteuermittel, erste Bildspeichermittel, zweite Lichtabstrahlsteuermittel und zweite Bildspeichermittel aufweisen, wobei die ersten Lichtabstrahlsteuermittel das erste Beleuchtungselement steuern, um nur das erste Licht abzustrahlen, die ersten Bildspeichermittel das Bildaufnahmeelement steuern, das erste Bild nur aufzunehmen, wenn das erste Beleuchtungselement das erste Licht abstrahlt, die zweiten Lichtabstrahlsteuermittel das zweite Beleuchtungselement steuern, um nur das zweite Licht abzustrahlen, und die zweiten Bildspeichermittel das Bildaufnahmeelement steuern, das zweite Bild nur aufzunehmen, wenn das zweite Beleuchtungselement das zweite Licht abstrahlt.
Alternativ kann die Steuerung ein Additionsbild durch Addition der Helligkeit des ersten Bilds und der Helligkeit des zweiten Bilds erzeugen, wobei die Steuerung ein Absolutdifferenzbild durch Berechnen eines Absolutwerts einer Differenz zwischen der Helligkeit des ersten Bilds und der Helligkeit des zweiten Bilds erzeugt, und die Steuerung ein Enddifferenzbild durch Subtraktion der Helligkeit des Absolutdifferenzbilds von der Helligkeit des Additionsbilds erzeugt.
Im obigen Fall enthält das erste Bild einen ersten Abschnitt hoher Helligkeit mit erster hoher Helligkeit, definiert als A1, und andere Abschnitte mit erster normaler Helligkeit, definiert als A2. Das zweite Bild enthält einen zweiten Abschnitt hoher Helligkeit mit zweiter hoher Helligkeit, definiert als B1, und andere Abschnitte mit zweiter normaler Helligkeit, definiert als B2. Hierbei ist die erste hohe Helligkeit A1 größer als die erste normale Helligkeit A2 und die zweite hohe Helligkeit B1 ist größer als die zweite normale Helligkeit B2. Die erste normale Helligkeit A2 ist gleich der zweiten normalen Helligkeit B2.
In diesem Fall wird die Helligkeit des Additionsbilds an dem ersten Abschnitt hoher Helligkeit als C1 definiert, die Helligkeit des Additionsbilds an dem zweiten Abschnitt hoher Helligkeit als C2 definiert und die Helligkeit des Additionsbilds an anderen Abschnitten als C3 definiert.
Jede Helligkeit C1-C3 ergibt sich durch die folgenden Formeln F10-F12: $C 1 = A 1 + B 2$
$C2 = A2 + B1$
$C3 = A2 + B 2$
Weiterhin wird die Helligkeit des Absolutdifferenzbilds an dem ersten Abschnitt hoher Helligkeit als D1 definiert, die Helligkeit des Absolutdifferenzbilds am zweiten Abschnitt hoher Helligkeit als D2 definiert und die Helligkeit des Absolutdifferenzbilds an anderen Abschnitten als D3. Jede Helligkeit D1-D3 ergibt sich durch die folgenden Formeln F13-F15: $D 1 = | A 1 - B 2 | = A 1 - B 2$
$D2 = | A2 - B1 | = B 1 - A 2$
$D3 = | A2 - B 2 | = 0$
Die Helligkeit des Enddifferenzbilds in dem ersten Abschnitt hoher Helligkeit wird als E1 definiert, die Helligkeit des Enddifferenzbilds im zweiten Abschnitt hoher Helligkeit als E2 und die Helligkeit des Enddifferenzbilds an den anderen Abschnitten als D3. Jede Helligkeit E1-E3 ergibt sich durch die folgenden Formeln F16-F18: $E 1 = C1 - D1 = (A 1 + B 2) - (A 1 - B 2) = 2 \times B 2$
$E2 = C 2 - D 2 = (A2 + B1) - (A 1 - A 2) = 2 \times A 2$
$E3 = C3 - D3 = (A2 + B 2) - 0 = A 2 + B 2$
Somit kann die Helligkeit E1 des Enddifferenzbilds am ersten Abschnitt hoher Helligkeit durch die Helligkeit B2 des zweiten Bilds am ersten Abschnitt hoher Helligkeit ersetzt werden. Weiterhin kann die Helligkeit E2 im Enddifferenzbild an dem zweiten Abschnitt hoher Helligkeit durch die Helligkeit A2 des ersten Bilds am zweiten Abschnitt hoher Helligkeit ersetzt werden.
Im Ergebnis wird die Bildinformation des ersten Bilds am ersten Abschnitt hoher Helligkeit durch die Bildinformation des zweiten Bilds am ersten Abschnitt hoher Helligkeit ersetzt. Weiterhin wird die Bildinformation des zweiten Bilds am zweiten Abschnitt hoher Helligkeit durch Bildinformation des ersten Bilds am zweiten Abschnitt hoher Helligkeit ersetzt. Damit wird die Helligkeit des Abschnitts hoher Helligkeit reproduziert.
Die Steuerung kann weiterhin Additionsbilderzeugungsmittel, Absolutdifferenzbilderzeugungsmittel und Enddifferenzbilderzeugungsmittel aufweisen. Die Additionsbilderzeugungsmittel können das Additionsbild erzeugen, die Absolutdifferenzbilderzeugungsmittel können das Absolutdifferenzbild erzeugen und die Enddifferenzbilderzeugungsmittel können das Enddifferenzbild erzeugen.
Alternativ kann das Bildaufnahmeelement an einem mittigen Punkt zwischen dem ersten Beleuchtungselement und dem zweiten Beleuchtungselement angeordnet sein. In diesem Fall ist die Differenz zwischen dem ersten Bild des Objekts und dem zweiten Bild des Objekts kleiner als in einem Fall, wo das Bildaufnahmeelement nahe dem ersten Beleuchtungselement oder dem zweiten Beleuchtungselement angeordnet ist. Somit wird der Überlappungsbereich des ersten Bilds vom Objekt und des zweiten Bilds vom Objekt hoch. Somit wird der Bereich, der eine Reproduzierbarkeit der Helligkeit des Abschnitts hoher Helligkeit liefert, groß.
Die Steuerung kann die ersten und zweiten Beleuchtungselemente steuern, um das erste und das zweite Licht abwechselnd abzustrahlen, wobei die Steuerung das Bildaufnahmeelement steuert, das erste Bild jedes Mal dann aufzunehmen, wenn das erste Beleuchtungselement das erste Licht abstrahlt, das Bildaufnahmeelement steuert, das zweite Bild jedes Mal dann aufzunehmen, wenn das zweite Beleuchtungselement das zweite Licht abstrahlt, das Additionsbild jedes Mal dann erzeugt, wenn die Steuerung ein letztes erstes Bild erzeugt oder die Steuerung ein letztes zweites Bild erzeugt, und das Absolutdifferenzbild jedes Mal dann erzeugt, wenn die Steuerung das letzte erste Bild erzeugt oder die Steuerung das letzte Differenzbild erzeugt.
Alternativ können das erste und das zweite Licht nahes Infrarotlicht sein. Die Steuerung enthält Nichtbeleuchtungsbildspeichermittel, und die Nichtbeleuchtungsbildspeichermittel steuern das Bildaufnahmeelement, um ein Nichtbeleuchtungsbild nur dann aufzunehmen, wenn kein Beleuchtungselement Licht abgibt. In diesem Fall hat das Nichtbeleuchtungsbild Einfluss durch externes Licht, beispielsweise Sonnenlicht, welches kein nahes Infrarotlicht ist. Folglich wird ein erstes Differenzbild zwischen dem ersten Bild und dem Nichtbeleuchtungsbild und/oder ein zweites Differenzbild zwischen dem zweiten Bild und dem Nichtbeleuchtungsbild erzeugt, so dass das erste oder zweite Differenzbild wenig Einfluss durch externes Licht anders als nahes Infrarotlicht hat.
Die Bildaufnahmevorrichtung kann in ein Fahrzeug eingebaut sein. Das Objekt kann der Kopf eines Fahrers sein. Das erste Beleuchtungselement strahlt das erste Licht in Richtung eines Gesichts des Fahrers und das zweite Beleuchtungselement strahlt zweites Licht in Richtung des Gesichts des Fahrers. In diesem Fall wird der Abschnitt hoher Helligkeit im Bild des Gesichts des Fahrers hoch reproduziert. Selbst wenn somit die Helligkeit des Auges des Fahrers im Bild des Gesichts des Fahrers hoch wird, wird die Bildinformation des Auges des Fahrers im Bild reproduziert. Somit können die Gesichtsausrichtung und die Blickrichtung des Fahrers mit hoher Genauigkeit erkannt werden.
Alternativ können das erste Beleuchtungselement, das zweite Beleuchtungselement und das Bildaufnahmeelement im Instrumentenbrett oder benachbart einer Lenksäule angeordnet sein. Hierbei liegen das Instrumentenbrett und die Lenksäule vorderhalb des Fahrersitzes.
Femäß einem zweiten Aspekt weist ein Verfahren zur Aufnahme eines Bilds eines Objekts auf: Abstrahlen von erstem Licht; Abstrahlen von zweitem Licht; Empfangen von Licht und Aufnehmen eines Bilds unter Verwendung des empfangenen Lichts mittels eines Bildaufnahmeelements; Steuern des Bildaufnahmeelements, um ein erstes Bild des Objekts aufzunehmen, wenn das erste Licht abgestrahlt wird; Speichern des ersten Bilds; Steuern des Bildaufnahmeelements, um ein zweites Bild des Objekts aufzunehmen, wenn das zweite Licht abgestrahlt wird; und Speichern des zweiten Bilds. Das erste Licht verläuft in einem ersten Bestrahlungsbereich und das zweite Licht in einem zweiten Bestrahlungsbereich. Der erste Bestrahlungsbereich überlappt teilweise den zweiten Bestrahlungsbereich. Das Bildaufnahmeelement wird in einer bestimmten Position derart angeordnet, dass das Bildaufnahmeelement von dem Objekt reflektiertes Licht empfängt, wobei das Licht das erste oder das zweite Licht ist, und das Objekt wird in dem Überlappungsbereich der ersten und zweiten Bestrahlungsbereiche angeordnet.
Bei obigem Verfahren wird unter Verwendung des ersten und zweiten Bilds der Abschnitt hoher Helligkeit erkannt und die Bildinformation im Abschnitt hoher Helligkeit wird ohne Verwendung eines Schwellenwerts wiedergegeben. Somit wird die Zuverlässigkeit bei der Erkennung des Abschnitts hoher Helligkeit verbessert. Weiterhin ist es nicht notwendig, in dem Abschnitt hoher Helligkeit die Helligkeit durch Helligkeit eines umgebenden Abschnitts zu ersetzen. Da die Helligkeit des Abschnitts hoher Helligkeit durch Helligkeit in dem Abschnitt hoher Helligkeit ersetzt wird, der gerade erkannt wird, wird die Reproduzierbarkeit der Helligkeit in dem Abschnitt hoher Helligkeit verbessert.
Das Verfahren kann weiterhin aufweisen: Erzeugen eines Additionsbilds durch Addition der Helligkeit des ersten Bilds und der Helligkeit des zweiten Bilds; Erzeugen eines Absolutdifferenzbilds durch Berechnen eines Absolutwerts der Differenz zwischen der Helligkeit des ersten Bilds und der Helligkeit des zweiten Bilds; und Erzeugen eines Enddifferenzbilds durch Subtraktion der Helligkeit des Absolutdifferenzbilds von der Helligkeit des Additionsbilds.
Im obigen Fall wird die Bildinformation des ersten Bilds an dem ersten Abschnitt hoher Helligkeit durch die Bildinformation des zweiten Bilds am ersten Abschnitt hoher Helligkeit ersetzt. Weiterhin wird die Bildinformation des zweiten Bilds am zweiten Abschnitt hoher Helligkeit durch die Bildinformation des ersten Bilds am zweiten Abschnitt hoher Helligkeit ersetzt. Damit wird die Helligkeit im Abschnitt hoher Helligkeit reproduziert.
Das Bestrahlen mit erstem Licht kann durch ein erstes Beleuchtungselement erfolgten und das Bestrahlen mit zweitem Licht durch ein zweites Beleuchtungselement. Das Bildaufnahmeelement wird in einem Mittelpunkt zwischen dem ersten Beleuchtungselement und dem zweiten Beleuchtungselement angeordnet.
Das Bestrahlen mit erstem Licht und das Bestrahlen mit zweitem Licht kann abwechselnd durchgeführt werden, wobei die Steuerung des Bildaufnahmeelements zum Aufnehmen des ersten Bilds jedes Mal dann erfolgt, wenn das erste Licht abgestrahlt wird, die Steuerung des Bildaufnahmeelements zum Aufnehmen des zweiten Bilds jedes Mal dann erfolgt, wenn das zweite Licht abgestrahlt wird, die Erzeugung des Additionsbilds jedes Mal dann durchgeführt wird, wenn ein letztes erstes Bild oder ein letztes zweites Bild erzeugt wird, und die Erzeugung des Absolutdifferenzbilds jedes Mal dann durchgeführt wird, wenn das letzte erste Bild erzeugt wird oder das letzte zweite Bild erzeugt wird. Die Erzeugung des Enddifferenzbilds kann jedes Mal dann durchgeführt werden, wenn ein letztes Additionsbild erzeugt wird oder ein letztes Absolutdifferenzbild erzeugt wird.
Das Verfahren kann weiterhin aufweisen: Steuern des Bildaufnahmeelements, ein Nichtbeleuchtungsbild des Objekts aufzunehmen, wenn kein Licht abgestrahlt wird; und Speichern des Nichtbeleuchtungsbilds; wobei das erste und das zweite Licht nahes Infrarotlicht ist, sowie Steuern des Bildaufnahmeelements zum Aufnehmen des Nichtbeleuchtungsbilds und zum Speichern des Nichtbeleuchtungsbilds durch Nichtbeleuchtungsbildspeichermittel durchgeführt wird. Die Nichtbeleuchtungsbildspeichermittel steuern das Bildaufnahmeelement, das Nichtbeleuchtungsbild nur dann aufzunehmen, wenn kein Licht abgestrahlt wird.
Die Bestrahlung durch erstes Licht kann durch ein erstes Beleuchtungselement erfolgen und die Bestrahlung durch zweites Licht durch ein zweites Beleuchtungselement. Das erste Beleuchtungselement, das zweite Beleuchtungselement und das Bildaufnahmeelement sind in einem Instrumentenbrett oder benachbart einer Lenksäule angeordnet.
Gemäß einem dritten Aspekt weist eine Bildaufnahmevorrichtung zur Aufnahme eines Bilds eines Objekts auf: ein erstes Beleuchtungselement zum Abstrahlen von erstem Licht; ein zweites Beleuchtungselement zum Abstrahlen von zweitem Licht; ein Bildaufnahmeelement zum Aufnehmen eines Bilds von empfangenem Licht; und eine Steuerung. Das erste Beleuchtungselement hat einen ersten Beleuchtungsbereich, in welchem das erste Licht von dem ersten Beleuchtungselement verläuft, und das zweite einen zweiten Beleuchtungsbereich, in welchem das zweite Licht vom zweiten Beleuchtungselement verläuft. Der erste Beleuchtungsbereich überlappt teilweise den zweiten Beleuchtungsbereich. Das Bildaufnahmeelement ist in einer bestimmten Position derart angeordnet, dass das Bildaufnahmeelement Licht empfängt, das von dem Objekt reflektiert wird, wobei das Licht das erste oder das zweite Licht ist. Das Objekt ist in dem Überlappungsbereich der ersten und zweiten Beleuchtungsbereiche angeordnet ist, wobei die Steuerung das Bildaufnahmeelement steuert, ein Nichtbeleuchtungsbild des Objekts aufzunehmen, wenn kein Beleuchtungselement Licht abstrahlt, das Nichtbeleuchtungsbild speichert, das Bildaufnahmeelement steuert, ein erstes Bild des Objekts aufzunehmen, wenn das erste Beleuchtungselement das erste Licht abstrahlt, das erste Bild speichert, das Bildaufnahmeelement steuert, ein zweites Bild des Objekts aufzunehmen, wenn das zweite Beleuchtungselement das zweite Licht abstrahlt, und das zweite Bild speichert.
In obiger Vorrichtung wird unter Verwendung des ersten Bilds und des zweiten Bilds der Abschnitt hoher Helligkeit erkannt und die Bildinformation in dem Abschnitt hoher Helligkeit wird ohne Verwendung eines Schwellenwerts wiedergegeben. Damit wird die Zuverlässigkeit bei der Erkennung des Abschnitts hoher Helligkeit verbessert. Weiterhin ist es nicht notwendig, die Helligkeit in dem Abschnitt hoher Helligkeit durch Helligkeit eines umgebenden Abschnitts zu ersetzen. Da die Helligkeit in dem Abschnitt hoher Helligkeit durch Helligkeit in einem Abschnitt hoher Helligkeit ersetzt wird, welche tatsächlich oder gerade erkannt wird, wird die Wiedergebbarkeit der Helligkeit in dem Abschnitt hoher Helligkeit verbessert. Weiterhin hat das Nichtbeleuchtungsbild Einfluss durch externes Licht, beispielsweise Sonnenlicht, welches kein nahes Infrarotlicht ist. Folglich wird ein erstes Differenzbild zwischen dem ersten Bild und dem Nichtbeleuchtungsbild und/oder ein zweites Differenzbild zwischen dem zweiten Bild und dem Nichtbeleuchtungsbild erzeugt, so dass das erste oder zweite Differenzbild wenig Einfluss durch externes Licht anders als nahes Infrarotlicht hat.
Die Steuerung kann ein erstes Differenzbild durch Subtraktion der Helligkeit des Nichtbeleuchtungsbilds von der Helligkeit des ersten Bilds erzeugen, ein zweites Differenzbild durch Subtraktion der Helligkeit des Nichtbeleuchtungsbilds von der Helligkeit des zweiten Bilds erzeugen, ein Additionsbild durch Addition der Helligkeit des ersten Differenzbilds und der Helligkeit des zweiten Differenzbilds erzeugen, ein Absolutdifferenzbild durch Berechnen eines Absolutwerts der Differenz zwischen der Helligkeit des ersten Differenzbilds und der Helligkeit des zweiten Differenzbilds erzeugen, und ein drittes Differenzbild durch Subtraktion der Helligkeit es Absolutdifferenzbilds von der Helligkeit des Additionsbilds erzeugen.
Weiterhin kann die Steuerung die ersten und zweiten Beleuchtungselemente steueren, um abwechselnd das erste und das zweite Licht abzustrahlen, das Bildaufnahmeelement steuern, das Nichtbeleuchtungsbild jedes Mal dann aufzunehmen, wenn kein Beleuchtungselement Licht abstrahlt, das Bildaufnahmeelement steuern, das erste Bild jedes Mal dann aufzunehmen, wenn das erste Beleuchtungselement das erste Licht abstrahlt, das Bildaufnahmeelement steuern, das zweite Bild jedes Mal dann aufzunehmen, wenn das zweite Beleuchtungselement das zweite Licht abstrahlt, das erste Differenzbild jedes Mal dann erzeugen, wenn die Steuerung ein letztes Nichtbeleuchtungsbild erzeugt oder die Steuerung ein letztes erstes Bild erzeugt, das zweite Differenzbild jedes Mal dann erzeugen, wenn die Steuerung ein letztes Nichtbeleuchtungsbild erzeugt oder die Steuerung ein letztes zweites Bild erzeugt, das Additionsbild jedes Mal dann erzeugen, wenn die Steuerung ein letztes erstes Differenzbild erzeugt oder die Steuerung ein letztes zweites Differenzbild erzeugt, das Absolutdifferenzbild jedes Mal dann erzeugen, wenn die Steuerung das letzte erste Differenzbild erzeugt oder die Steuerung das letzte zweite Differenzbild erzeugt, und das dritte Differenzbild jedes Mal dann erzeugen, wenn die Steuerung ein letztes Additionsbild erzeugt oder die Steuerung ein letztes Absolutdifferenzbild erzeugt.
Gemäß einem vierten Aspekt umfasst ein Verfahren zum Aufnehmen eines Bilds eines Objekts die Schritte: Abstrahlen von erstem Licht; Abstrahlen von zweitem Licht; Empfangen von Licht und Aufnehmen des Bilds unter Verwendung von empfangenem Licht mit einem Bildaufnahmeelement; Steuern des Bildaufnahmeelements, um ein Nichtbeleuchtungsbild des Objekts aufzunehmen, wenn kein Licht abgestrahlt wird; Speichern des Nichtbeleuchtungsbilds; Steuern des Bildaufnahmeelements, um ein erstes Bild des Objekts aufzunehmen, wenn das erste Licht abgestrahlt wird; Speichern des ersten Bilds; Steuern des Bildaufnahmeelements, um ein zweites Bild des Objekts aufzunehmen, wenn das zweite Licht abgestrahlt wird; und Speichern des zweiten Bilds, wobei das erste Licht in einem ersten Bestrahlungsbereich verläuft und das zweite Licht in einem zweiten Bestrahlungsbereich verläuft. Der erste Bestrahlungsbereich überlappt teilweise den zweiten Bestrahlungsbereich und das Bildaufnahmeelement ist in einer bestimmten Position angeordnet, so dass es Licht empfängt, das von dem Objekt reflektiert wird, wobei das Licht das erste oder das zweite Licht ist, und das Objekt ist in einem Überlappungsbereich der ersten und zweiten Bestrahlungsbereiche angeordnet.
Bei obigem Verfahren wird unter Verwendung des ersten Bilds und des zweiten Bilds der Abschnitt hoher Helligkeit erkannt und die Bildinformation in dem Abschnitt hoher Helligkeit wird ohne Verwendung eines Schwellenwerts wiedergegeben. Damit wird die Zuverlässigkeit bei der Erkennung des Abschnitts hoher Helligkeit verbessert. Weiterhin ist es nicht notwendig, die Helligkeit in dem Abschnitt hoher Helligkeit durch Helligkeit eines umgebenden Abschnitts zu ersetzen. Da die Helligkeit im Abschnitt hoher Helligkeit durch Helligkeit eines Abschnitts hoher Helligkeit ersetzt wird, der gerade oder tatsächlich erkannt wird, wird die Reproduzierbarkeit der Helligkeit in dem Abschnitt hoher Helligkeit verbessert. Weiterhin hat das Nichtbeleuchtungsbild Einfluss durch externes Licht, beispielsweise Sonnenlicht, also kein nahes Infrarotlicht. Folglich wird ein erstes Differenzbild zwischen dem ersten Bild und dem Nichtbeleuchtungsbild und/oder ein zweites Differenzbild zwischen dem zweiten Bild und dem Nichtbeleuchtungsbild erzeugt, so dass das erste oder zweite Differenzbild wenig Einfluss durch externes Licht anders als nahes Infrarotlicht hat.
Das Verfahren kann weiterhin aufweisen: Erzeugen eines ersten Differenzbilds durch Subtraktion der Helligkeit des Nichtbeleuchtungsbilds von der Helligkeit des ersten Bilds; Erzeugen eines zweiten Differenzbilds durch Subtraktion der Helligkeit des Nichtbeleuchtungsbilds von der Helligkeit des zweiten Bilds; Erzeugen eines Additionsbilds durch Addition der Helligkeit des ersten Differenzbilds und der Helligkeit des zweiten Differenzbilds; Erzeugen eines Absolutdifferenzbilds durch Berechnen eines Absolutwerts der Differenz zwischen der Helligkeit des ersten Differenzbilds und der Helligkeit des zweiten Differenzbilds; und Erzeugen eines dritten Differenzbilds durch Subtraktion der Helligkeit des Absolutdifferenzbilds von der Helligkeit des Additionsbilds.
Weiterhin kann bei dem Verfahren die Bestrahlung mit erstem Licht und die Bestrahlung mit zweitem Licht abwechselnd durchgeführt werden, wobei die Steuerung des Bildaufnahmeelements, das Nichtbeleuchtungsbild aufzunehmen, jedes Mal dann durchgeführt wird, wenn kein Licht abgestrahlt wird, die Steuerung des Bildaufnahmeelements, das erste Bild aufzunehmen, jedes Mal dann durchgeführt wird, wenn das erste Licht abgestrahlt wird, die Steuerung des Bildaufnahmeelements, das zweite Bild aufzunehmen, jedes Mal dann durchgeführt wird, wenn das zweite Licht abgestrahlt wird, die Erzeugung des ersten Differenzbilds jedes Mal dann durchgeführt wird, wenn ein letztes Nichtbeleuchtungsbild gespeichert wird oder ein letztes erstes Bild gespeichert wird, die Erzeugung des zweiten Differenzbilds jedes Mal dann durchgeführt wird, wenn ein letztes Nichtbeleuchtungsbild gespeichert wird, oder ein letztes zweites Bild gespeichert wird, die Erzeugung des Additionsbilds jedes Mal dann durchgeführt wird, wenn ein letztes erstes Differenzbild erzeugt wird oder ein letztes zweites Differenzbild erzeugt wird, die Erzeugung des Absolutdifferenzbilds jedes Mal dann durchgeführt wird, wenn das letzte erste Differenzbild erzeugt wird oder das letzte zweite Differenzbild erzeugt wird, und die Erzeugung des dritten Differenzbilds jedes Mal dann durchgeführt wird, wenn ein letztes Additionsbild erzeugt wird oder ein letztes Absolutdifferenzbild erzeugt wird.

Claims

Bildaufnahmevorrichtung zur Aufnahme eines Bilds eines Objekts, aufweisend: ein erstes Beleuchtungselement (4) zum Abstrahlen von erstem Licht; ein zweites Beleuchtungselement (5) zum Abstrahlen von zweitem Licht; ein Bildaufnahmeelement (2) zum Aufnehmen eines Bilds von empfangenem Licht; und eine Steuerung (3, 6), wobei das erste Beleuchtungselement (4) einen ersten Beleuchtungsbereich hat, in welchem das erste Licht von dem ersten Beleuchtungselement (4) verläuft, und das zweite (5) einen zweiten Beleuchtungsbereich hat, in welchem das zweite Licht vom zweiten Beleuchtungselement (5) verläuft, der erste Beleuchtungsbereich den zweiten Beleuchtungsbereich teilweise überlappt, das Bildaufnahmeelement (2) in einer bestimmten Position derart angeordnet ist, dass das Bildaufnahmeelement (2) Licht empfängt, das von dem Objekt reflektiert wird, wobei das Licht das erste oder das zweite Licht ist, das Objekt in dem Überlappungsbereich der ersten und zweiten Beleuchtungsbereiche angeordnet ist, die Steuerung (3, 6) das Bildaufnahmeelement (2) steuert, um ein erstes Bild des Objekts aufzunehmen, wenn das erste Beleuchtungselement (4) das erste Licht abstrahlt, die Steuerung (3, 6) das erste Bild speichert, die Steuerung (3, 6) das Bildaufnahmeelement (2) steuert, um ein zweites Bild des Objekts aufzunehmen, wenn das zweite Beleuchtungselement (5) das zweite Licht abstrahlt, die Steuerung (3, 6) das zweite Bild speichert, die Steuerung (3, 6) weiterhin Nichtbeleuchtungsbildspeichermittel (S30) aufweist, die Nichtbeleuchtungsbildspeichermittel (S30) das Bildaufnahmeelement (2) steuern, ein Nichtbeleuchtungsbild (CD1) nur dann aufzunehmen, wenn kein Beleuchtungselement Licht abstrahlt, die Steuerung (3, 6) eine Differenz zwischen der Helligkeit des Nichtbeleuchtungsbilds (CD1) und der Helligkeit des ersten Bilds (CD2) berechnet, wobei die Differenz definiert ist als erstes Differenzbild (SD1), die Steuerung (3, 6) eine Differenz zwischen der Helligkeit des Nichtbeleuchtungsbilds (CD1) und der Helligkeit des zweiten Bilds (CD3) berechnet, wobei die Differenz definiert ist als zweites Differenzbild (SD2), die Steuerung (3, 6) ein Additionsbild (AD1) durch Addition der Helligkeit des ersten Differenzbilds (SD1) und der Helligkeit des zweiten Differenzbilds erzeugt, die Steuerung (3, 6) ein Absolutdifferenzbild (SD3) durch Berechnen eines Absolutwerts einer Differenz zwischen der Helligkeit des ersten Differenzbilds und der Helligkeit des zweiten Differenzbilds (SD2) erzeugt, und die Steuerung (3, 6) ein Enddifferenzbild (SD4) durch Berechnen einer Differenz zwischen der Helligkeit des Additionsbilds (AD1) und der Helligkeit des Absolutdifferenzbilds (SD3) erzeugt.
Bildaufnahmevorrichtung nach Anspruch 1, wobei die Steuerung (3, 6) erste Lichtabstrahlsteuermittel (S70, S100), erste Bildspeichermittel (S80), zweite Lichtabstrahlsteuermittel (S140, S170) und zweite Bildspeichermittel (S150) aufweist, wobei die ersten Lichtabstrahlsteuermittel (S70, S100) das erste Beleuchtungselement (4) steuern, um nur das erste Licht abzustrahlen, die ersten Bildspeichermittel (S80) das Bildaufnahmeelement (2) steuern, das erste Bild nur aufzunehmen, wenn das erste Beleuchtungselement (4) das erste Licht abstrahlt, die zweiten Lichtabstrahlsteuermittel (S140, S170) das zweite Beleuchtungselement (5) steuern, um nur das zweite Licht abzustrahlen, und die zweiten Bildspeichermittel (S150) das Bildaufnahmeelement (2) steuern, das zweite Bild nur aufzunehmen, wenn das zweite Beleuchtungselement (5) das zweite Licht abstrahlt.
Bildaufnahmevorrichtung nach Anspruch 1 oder 2, wobei die Steuerung (3, 6) weiterhin Additionsbilderzeugungsmittel (S190), Absolutdifferenzbilderzeugungsmittel (S200) und Enddifferenzbilderzeugungsmittel (S210) aufweist, wobei die Additionsbilderzeugungsmittel (S190) das Additionsbild zu erzeugen vermögen, die Absolutdifferenzbilderzeugungsmittel (S200) das Absolutdifferenzbild zu erzeugen vermögen, und die Enddifferenzbilderzeugungsmittel (S210) das Enddifferenzbild zu erzeugen vermögen.
Bildaufnahmevorrichtung nach einem der Ansprüche 1-3, wobei das Bildaufnahmeelement (2) mittig zwischen dem ersten Beleuchtungselement (4) und dem zweiten Beleuchtungselement (5) angeordnet ist.
Bildaufnahmevorrichtung nach Anspruch 1 oder 2, wobei die Steuerung (3, 6) die ersten und zweiten Beleuchtungselemente (4, 5) steuert, um das erste und das zweite Licht abwechselnd abzustrahlen, wobei die Steuerung (3, 6) das Bildaufnahmeelement (2) steuert, das erste Bild jedes Mal dann aufzunehmen, wenn das erste Beleuchtungselement (4) das erste Licht abstrahlt, die Steuerung (3, 6) das Bildaufnahmeelement (2) steuert, das zweite Bild jedes Mal dann aufzunehmen, wenn das zweite Beleuchtungselement (5) das zweite Licht abstrahlt, die Steuerung (3, 6) das Additionsbild jedes Mal dann erzeugt, wenn die Steuerung (3, 6) ein letztes erstes Bild erzeugt oder die Steuerung (3, 6) ein letztes zweites Bild erzeugt, und die Steuerung (3, 6) das Absolutdifferenzbild jedes Mal dann erzeugt, wenn die Steuerung (3, 6) das letzte erste Bild erzeugt oder die Steuerung (3, 6) das letzte Differenzbild erzeugt.
Bildaufnahmevorrichtung nach Anspruch 5, wobei die Steuerung (3, 6) das Enddifferenzbild jedes Mal dann erzeugt, wenn die Steuerung (3, 6) das letzte Additionsbild erzeugt oder die Steuerung (3, 6) das letzte Absolutdifferenzbild erzeugt.
Bildaufnahmevorrichtung nach einem der Ansprüche 1-6, wobei das erste und zweite Licht nahes Infrarotlicht ist.
Bildaufnahmevorrichtung nach einem der Ansprüche 1-7, wobei die Bildaufnahmevorrichtung in ein Fahrzeug eingebaut ist, wobei das Objekt der Kopf eines Fahrers ist, das erste Beleuchtungselement (4) das erste Licht in Richtung eines Gesichts des Fahrers abstrahlt, und das zweite Beleuchtungselement (5) das zweite Licht in Richtung des Gesichts des Fahrers abstrahlt.
Bildaufnahmevorrichtung nach Anspruch 8, wobei das erste Beleuchtungselement (4), das zweite Beleuchtungselement (5) und das Bildaufnahmeelement (2) an einem Instrumentenbrett oder benachbart einer Lenksäule angeordnet sind.
Verfahren zur Aufnahme eines Bilds eines Objekts, aufweisend: Abstrahlen von erstem Licht, Abstrahlen von zweitem Licht, Empfangen von Licht und Aufnehmen eines Bilds unter Verwendung des empfangenen Lichts mittels eines Bildaufnahmeelements (2), Steuern des Bildaufnahmeelements (2), um ein erstes Bild des Objekts aufzunehmen, wenn das erste Licht abgestrahlt wird, Speichern des ersten Bilds, Steuern des Bildaufnahmeelements (2), um ein zweites Bild des Objekts aufzunehmen, wenn das zweite Licht abgestrahlt wird, Speichern des zweiten Bilds, Steuern des Bildaufnahmeelements (2), ein Nichtbeleuchtungsbild (CD1) des Objekts aufzunehmen, wenn kein Licht abgestrahlt wird; Speichern des Nichtbeleuchtungsbilds; Berechnen einer Differenz zwischen der Helligkeit des Nichtbeleuchtungsbild (CD1) und der Helligkeit des ersten Bilds (CD2), wobei die Differenz definiert ist als erstes Differenzbild (SD1), Berechnen einer Differenz zwischen der Helligkeit des Nichtbeleuchtungsbild (CD1) und der Helligkeit des zweiten Bilds (CD3), wobei die Differenz definiert ist als zweites Differenzbild (SD2), Erzeugen eines Additionsbilds (AD1) durch Addition der Helligkeit des ersten Differenzbilds (SD1) und der Helligkeit des zweiten Differenzbilds (SD2), Erzeugen eines Absolutdifferenzbilds (SD3) durch Berechnen eines Absolutwerts einer Differenz zwischen der Helligkeit des ersten Differenzbilds (SD1) und der Helligkeit des zweiten Differenzbilds (SD2), und Erzeugen eines Enddifferenzbilds (SD4) durch Berechnen einer Differenz zwischen der Helligkeit des Additionsbilds (AD1) und der Helligkeit des Absolutdifferenzbilds (SD3), wobei das erste Licht in einem ersten Bestrahlungsbereich verläuft und das zweite Licht in einem zweiten Bestrahlungsbereich verläuft, der erste Bestrahlungsbereich teilweise den zweiten Bestrahlungsbereich überlappt, das Bildaufnahmeelement (2) in einer bestimmten Position derart angeordnet wird, dass das Bildaufnahmeelement (2) von dem Objekt reflektiertes Licht empfängt, wobei das Licht das erste oder das zweite Licht ist, das Objekt in dem Überlappungsbereich der ersten und zweiten Bestrahlungsbereiche angeordnet ist, das Steuern des Bildaufnahmeelements (2), das Nichtbeleuchtungsbild (CD1) aufzunehmen und das Nichtbeleuchtungsbild (CD1) zu speichern, durch Nichtbeleuchtungsbildspeichermittel durchgeführt wird, und die Nichtbeleuchtungsbildspeichermittel das Bildaufnahmeelement (2) steuern, das Nichtbeleuchtungsbild (CD1) aufzunehmen, nur wenn kein Licht abgestrahlt wird.
Verfahren nach Anspruch 10, wobei das Bestrahlen mit erstem Licht durch ein erstes Beleuchtungselement (4) erfolgt, das Bestrahlen mit zweitem Licht durch ein zweites Beleuchtungselement (5) erfolgt, und das Bildaufnahmeelement (2) in einem Mittelpunkt zwischen dem ersten Beleuchtungselement (4) und dem zweiten Beleuchtungselement (5) angeordnet wird.
Verfahren nach Anspruch 10, wobei das Bestrahlen mit erstem Licht und das Bestrahlen mit zweitem Licht abwechselnd durchgeführt wird, wobei die Steuerung des Bildaufnahmeelements (2) zum Aufnehmen des ersten Bilds jedes Mal dann erfolgt, wenn das erste Licht abgestrahlt wird, die Steuerung des Bildaufnahmeelements (2) zum Aufnehmen des zweiten Bilds jedes Mal dann erfolgt, wenn das zweite Licht abgestrahlt wird, die Erzeugung des Additionsbilds jedes Mal dann durchgeführt wird, wenn ein letztes erstes Bild oder ein letztes zweites Bild erzeugt wird, und die Erzeugung des Absolutdifferenzbilds jedes Mal dann durchgeführt wird, wenn das letzte erste Bild erzeugt wird oder das letzte zweite Bild erzeugt wird.
Verfahren nach Anspruch 12, wobei die Erzeugung des Enddifferenzbilds jedes Mal dann durchgeführt wird, wenn ein letztes Additionsbild erzeugt wird oder ein letztes Absolutdifferenzbild erzeugt wird.
Verfahren nach einem der Ansprüche 10-13, wobei weiterhin das erste und das zweite Licht nahes Infrarotlicht ist.
Verfahren nach einem der Ansprüche 10-14, wobei das Bildaufnahmeelement (2) in ein Fahrzeug eingebaut ist, das Objekt ein Kopf eines Fahrers ist, das erste Licht in Richtung eines Gesichts des Fahrers abgestrahlt wird, und das zweite Licht in Richtung des Gesichts des Fahrers abgestrahlt wird.
Verfahren nach Anspruch 15, wobei die Bestrahlung durch erstes Licht durch ein erstes Beleuchtungselement (4) erfolgt, die Bestrahlung durch zweites Licht durch ein zweites Beleuchtungselement (5) erfolgt, und das erste Beleuchtungselement (4), das zweite Beleuchtungselement (5) und das Bildaufnahmeelement (2) in einem Instrumentenbrett oder benachbart einer Lenksäule angeordnet sind.