DE102009036844B4

DE102009036844B4 - Belichtungsbestimmungsvorrichtung und Bildverarbeitungsvorrichtung

Info

Publication number: DE102009036844B4
Application number: DE102009036844.2A
Authority: DE
Inventors: Takayuki Kimura
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2008-08-08
Filing date: 2009-08-10
Publication date: 2018-06-28
Anticipated expiration: 2029-08-11
Also published as: US20100033619A1; DE102009036844A1; CN101646021B; US8395698B2; DE102009036844B8; CN101646021A; JP2010041668A; JP4525812B2

Abstract

Programmprodukt, eingebettet in ein Medium, auf welches durch einen Computer einer Belichtungsbestimmungsvorrichtung für eine Bildaufnahmeeinheit zugreifbar ist, wobei das Programmprodukt aufweist:einen ersten Schritt des Anweisens an den Computer, ein erstes Bild zu erlangen, wobei das erste Bild von der Bildaufnahmeeinheit mit einer vorab bestimmten ersten Belichtung aufgenommen wird;einen zweiten Schritt des Anweisens an den Computer, eine Mehrzahl von Bereichen in dem ersten Bild zu entnehmen und eine Lichtintensität in jedem aus der Mehrzahl von Bereichen zu erkennen;einen dritten Schritt des Anweisens an den Computer, basierend auf der erkannten Lichtintensität und Dynamikbereich in jedem aus der Mehrzahl von Bereichen zu bestimmen, ob er ein Fehlanpassungsbereich ist, in welchem abschätzbar ist, dass eine Kante aufgrund entweder Überschuss oder Mangel der ersten Belichtung für einen entsprechenden der Bereiche unerkannt ist; undeinen vierten Schritt des Anweisens an den Computer, eine zweite Belichtung der Bildaufnahmeeinheit zu bestimmen und ein zweites Bild mit der zweiten Belichtung aufzunehmen, wobei die zweite Belichtung an die Lichtintensität in dem einen Fehlanpassungsbereich angepasst ist, und ein Vermischen erkannter Kanten aus dem ersten Bild und derjenigen aus dem zweiten Bild durchzuführen, wobei der vierte Schritt nur dann ausgeführt wird, wenn bestimmt wird, dass wenigstens einer aus der Mehrzahl von Bereichen der eine Fehlanpassungsbereich ist.

Description

GEBIET DER ERFINDUNG
Die vorliegende Erfindung betrifft Belichtungsbestimmungsvorrichtungen zur Bestimmung der Belichtung einer Bildaufnahmeeinheit, bevor die Bildaufnahmeeinheit Bilder aufnimmt. Ferner betrifft die vorliegende Erfindung ein Programmprodukt, eingebettet in ein Medium, auf welches durch einen Computer einer Belichtungsbestimmungsvorrichtung für eine Bildaufnahmeeinheit zugreifbar ist.
HINTERGRUND DER ERFINDUNG
Bildverarbeitungsvorrichtungen, die die Funktion der Erkennung von „Kanten“ in aufgenommenen Bildern haben, werden auf verschiedenen Gebieten häufig verwendet; diese „Kanten“ bedeuten Grenzen, an denen sich die Bildhelligkeit oder die Farbe ändert. Ein Typ einer solchen Bildverarbeitungsvorrichtung ist beispielsweise in der japanischen Patentanmeldungsveröffentlichung JP 2001-005966 A beschrieben, die so ausgelegt ist, dass sie eine Bildaufnahmeeinheit veranlasst, eine vorab bestimmte Anzahl von beispielsweise drei oder mehr Bildaufnahmen durchzuführen, während der Belichtungsbetrag der Bildaufnahmeeinheit geändert wird. Die Anzahl von Bildaufnahmen wurde vorab für jeden von Luminanz- (Helligkeits-) Bereichen aufgenommener Ziele bestimmt.
Da der Belichtungsbetrag der Bildaufnahmeeinheit an der vorab bestimmten Anzahl von Bildaufnahmen geändert wird, ist es möglich, Bilder zu erhalten, welche relativ zu dem Dynamikbereich der Bildaufnahmeeinheit große Dynamikbereiche haben. Es sei festzuhalten, dass „Dynamikbereich“ den Bereich bedeutet, der zwischen der maximalen Beleuchtungsintensität und der minimalen Beleuchtungsintensität von Bildern liegt, welche eine Bildaufnahmeeinheit aufnehmen kann.
Selbst wenn somit Bereiche in aufgenommenen Bildern unterschiedliche Luminanz zueinander haben, ist es möglich, Kanten in den aufgenommenen Bildern zu erkennen; diese Bereiche entsprechen beispielsweise sonnigen und schattigen Bereichen, die aufzunehmen sind.
Jedoch muss eine Bildverarbeitungsvorrichtung dieses Typs immer die vorab bestimmte Anzahl von Bildaufnahmen für den Luminanzbereich eines jeden aufzunehmenden Ziels durchführen und eine Bildverarbeitung basierend auf jedem der aufgenommenen Bilder durchführen, um die Kanten zu erkennen. Dies kann, selbst wenn es keine Notwendigkeit gibt, die vorab bestimmte Anzahl von Bildaufnahmen durchzuführen, bewirken, dass die Bildaufnahmevorrichtung die vorab bestimmte Anzahl von Bildaufnahmen für den Helligkeitsbereich eines jeden aufzunehmenden Ziels durchführt und eine Bildverarbeitung basierend auf jedem der aufgenommenen Bilder durchführt, um die Kanten zu erkennen.
Dies kann daher die Prozessbelastung der Bildverarbeitungsvorrichtung bei der Kantenerkennung erhöhen.
Weiterer relevanter Stand der Technik ist bekannt aus der US 000005801773 A sowie aus Kang, Sing Bing, et al. „High dynamic range video." ACM Transactions on Graphics (TOG). Vol. 22. No.3. ACM, 2003.
KURZFASSUNG DER ERFINDUNG
Angesichts der obigen Umstände ist es Aufgabe eines Aspekts der vorliegenden Erfindung, Techniken zu schaffen, welche es Bildverarbeitungsvorrichtungen ermöglichen, Kanten genau zu erkennen, wobei Prozessbelastungen der Bildverarbeitungsvorrichtungen soweit als möglich gesenkt werden.
Die Lösung der Aufgabe erfolgt durch die Merkmale der Ansprüche 1 oder 2.
Gemäß einem Aspekt der vorliegenden Erfindung wird eine Belichtungsbestimmungsvorrichtung für eine Bildaufnahmeeinheit gemäß Anspruch 2 geschaffen. Die Vorrichtung enthält eine Bilderlangungseinheit, welche ein erstes Bild zu erlangen vermag. Das erste Bild wird von der Bildaufnahmeeinheit mit einer vorab bestimmten ersten Belichtung aufgenommen. Die Vorrichtung enthält eine Lichtintensitätserkennungseinheit, welche eine Mehrzahl von Bereichen in dem ersten Bild zu entnehmen vermag und eine Lichtintensität in jedem der Mehrzahl von Bereichen zu erkennen vermag. Die Vorrichtung erhält eine Fehlanpassungsbereichsbestimmungseinheit, welche basierend auf der erkannten Lichtintensität in jeder der Mehrzahl von Bereichen zu bestimmen vermag, ob jeder aus der Mehrzahl von Bereichen wenigstens ein Fehlanpassungsbereich ist, in welchem abgeschätzt werden kann, dass eine Kante aufgrund entweder von Überschuss oder Mangel der ersten Belichtung für einen entsprechenden aus der Mehrzahl von Bereichen unerkannt ist. Die Vorrichtung enthält eine zweite Belichtungsbestimmungseinheit, welche, wenn bestimmt wird, dass wenigstens einer aus der Mehrzahl von Bereichen der wenigstens eine Fehlanpassungsbereich ist, eine zweite Belichtung der Bildaufnahmeeinheit zu bestimmen vermag. Die zweite Belichtung wird an die Lichtintensität in dem wenigstens einen Fehlanpassungsbereich angepasst.
Gemäß einem weiteren Aspekt der vorliegenden Erfindung wird ein Programmprodukt gemäß Anspruch 1 geschaffen, welches in ein Medium eingebettet ist, auf welches durch einen Computer einer Belichtungsbestimmungsvorrichtung für eine Bildaufnahmeeinheit zugegriffen werden kann. Das Programmprodukt enthält einen ersten Schritt des Anweisens an den Computer, ein erstes Bild zu erlangen. Das erste Bild wird von der Bildaufnahmeeinheit mit einer vorab bestimmten ersten Belichtung aufgenommen. Das Programmprodukt enthält einen zweiten Schritt des Anweisens an den Computer, eine Mehrzahl von Bereichen in dem ersten Bild zu entnehmen und eine Lichtintensität in jedem der Mehrzahl von Bereichen zu erkennen. Das Programmprodukt enthält einen dritten Schritt des Anweisens an den Computer, basierend auf der erkannten Lichtintensität in jedem der Mehrzahl von Bereichen zu bestimmen, ob jeder aus der Mehrzahl von Bereichen wenigstens ein Fehlanpassungsbereich ist, in welchem abgeschätzt werden kann, dass eine Kante aufgrund entweder von Überschuss oder Mangel der ersten Belichtung für einen entsprechenden aus der Mehrzahl von Bereichen unerkannt ist. Das Programmprodukt enthält einen vierten Schritt des Anweisens an den Computer, wenn bestimmt wird, dass wenigstens einer aus der Mehrzahl von Bereichen der wenigstens eine Fehlanpassungsbereich ist, eine zweite Belichtung der Bildaufnahmeeinheit zu bestimmen. Die zweite Belichtung wird an die Lichtintensität in dem wenigstens einen Fehlanpassungsbereich angepasst.
Gemäß einem weiteren Aspekt, welcher nicht den Gegenstand der vorliegenden Erfindung betrifft sondern deren Erläuterung dient, wird eine Bildverarbeitungseinheit für eine Bildaufnahmeeinheit beschrieben. Die Bildverarbeitungseinheit enthält eine erste Bilderlangungseinheit, welche die Bildaufnahmeeinheit zu veranlassen vermag, ein erstes Bild mit einer vorab bestimmten ersten Belichtung aufzunehmen, um damit das erste Bild zu erlangen. Die Bildverarbeitungseinheit enthält eine Lichtintensitätserkennungseinheit, welche eine Mehrzahl von Bereichen aus dem ersten Bild zu entnehmen vermag und eine Lichtintensität in jedem aus der Mehrzahl von Bereichen zu erkennen vermag. Die Bildverarbeitungseinheit enthält eine Fehlanpassungsbereichsbestimmungseinheit, welche basierend auf der erkannten Lichtintensität in jedem der Mehrzahl von Bereichen zu bestimmen vermag, ob jeder aus der Mehrzahl von Bereichen wenigstens ein Fehlanpassungsbereich ist, in welchem eine Kante aufgrund entweder Überschuss oder Mangel der ersten Belichtung für einen entsprechenden aus der Mehrzahl von Bereichen unerkannt ist. Die Bildverarbeitungseinheit enthält eine zweite Belichtungsbestimmungseinheit, welche, wenn bestimmt wird, dass der wenigstens eine aus der Mehrzahl von Bereichen der wenigstens eine Fehlanpassungsbereich ist, eine zweite Belichtung der Bildaufnahmeeinheit zu bestimmen vermag. Die zweite Belichtung ist an die Lichtintensität in dem wenigstens einen Fehlanpassungsbereich angepasst. Die Bildverarbeitungseinheit enthält eine zweite Bilderlangungseinheit, welche die Bildaufnahmeeinheit zu veranlassen vermag, ein zweites Bild mit der zweiten Belichtung aufzunehmen, um damit das zweite Bild zu erlangen. Die Bildverarbeitungseinheit enthält einen Kantenerkenner, der eine Kante in wenigstens entweder dem ersten Bild oder dem zweiten Bild zu erkennen vermag.
Figurenliste
Weitere Einzelheiten und Aspekte der Erfindung ergeben sich besser aus der nachfolgenden Beschreibung von Ausführungsformen unter Bezugnahme auf die beigefügte Zeichnung, in der:

1 ein Blockdiagramm ist, das schematisch ein Beispiel des gesamten Hardwareaufbaus eines Spurerkennungssystems in einem Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
2 ein Flussdiagramm ist, welches schematisch eine Spurerkennungsroutine zur Durchführung durch eine CPU in 1 gemäß der Ausführungsform zeigt;
3A eine Ansicht ist, die schematisch ein Beispiel eines vorab gesetzten Spurerkennungsbereichs in einem aufgenommenen Bild zeigt, unter der Annahme, dass ein Zielbereich vorderhalb des Fahrzeugs einen sonnigen Bereich und einen schattigen Bereich enthält, die in dieser Reihenfolge in Vorwärtsrichtung von dem Fahrzeug aus hintereinanderliegen; und
3B eine Ansicht ist, die schematisch ein anderes Beispiel eines vorab gesetzten Spurerkennungsbereichs in einem aufgenommenen Bild zeigt, unter der Annahme, dass ein Zielbereich vorderhalb des Fahrzeugs einen sonnigen Bereich und einen schattigen Bereich enthält, die in dieser Reihenfolge in einer Richtung von links nach rechts angeordnet sind.

DETAILLIERTE BESCHREIBUNG VON AUSFÜHRUNGSFORMEN
DER ERFINDUNG
Eine Ausführungsform der vorliegenden Erfindung wird nachfolgend unter Bezugnahme auf die beigefügte Zeichnung beschrieben. In der Zeichnung bezeichnen gleiche Bezugszeichen identische oder einander entsprechende Teile.
In der Ausführungsform sei die vorliegende Erfindung bei einem Spurerkennungssystem 1 angewendet, das als Beispiel einer Bildverarbeitungsvorrichtung in ein Fahrzeug eingebaut ist.
Bezug nehmend auf 1 ist das Spurerkennungssystem 1 ausgestattet mit einer Steuerung 10, einer Kamera als ein Beispiel von Bildaufnahmeeinheiten, welche in Kommunikationsverbindung mit der Steuerung 10 ist, und einer fahrzeugseitigen Vorrichtung 20, die in Kommunikationsverbindung mit der Steuerung 10 ist.
Die Steuerung 10 ist beispielsweise als ein normaler Mikrocomputer ausgelegt, bestehend aus beispielsweise einer CPU 10a, einem ROM (Lesespeicher), beispielsweise einem wiederbeschreibbaren ROM 10b, einem RAM (Speicher mit wahlfreiem Zugriff) 10c, einem HDD (Festplattenlaufwerk; HDD) 10d und anderen nicht gezeigten Peripherievorrichtungen. Die CPU 10a, das ROM 10b, das RAM 10c, das HDD 10d und die anderen Peripherievorrichtungen kommunizieren untereinander.
Das ROM 10b speichert vorab eine Mehrzahl von Programmen, einschließlich eines Spurerkennungsprogramms P mit einem Belichtungsbestimmungsunterprogramm. Jedes aus der Mehrzahl von Programmen veranlasst die CPU 10a, eine entsprechende Routine durchzuführen. Beispielsweise weist das Spurerkennungsprogramm P die CPU 10a an, die Belichtung der Kamera 15 zu steuern und basierend auf von der Kamera 15 aufgenommenen Bildern Spuren (Spurpositionen) einer Fahrbahnoberfläche vorderhalb des Fahrzeugs zu erkennen.
Das RAM 10c dient als Arbeitsbereich, der zum Betrieb der CPU 10a verwendet wird.
Das HDD 10d speichert vorab verschiedene Informationsgegenstände, die von der CPU 10a verwendbar sind, und kann verschiedene Informationsgegenstände speichern, welche von der CPU 10a oder der fahrzeugseitigen Vorrichtung 20 gesendet werden.
Die Kamera 15 ist an der Vorderseite einer Karosserie (Außenhülle) angeordnet, die an einem Rahmen des Fahrzeugs festgelegt ist, und arbeitet dahingehend, zweidimensionale Bilder (Rahmenbilder) eines bestimmten Zielbereichs auf einer Fahrbahnoberfläche vorderhalb des Fahrzeugs aufzunehmen. Die vertikale Richtung und die horizontale Richtung eines jeden aufgenommenen Bilds entsprechen einer Vorwärtsrichtung bzw. Breitenrichtung des Fahrzeugs.
Jedes aufgenommene Bild besteht beispielsweise aus einer Mehrzahl von Pixeln, die in einer Matrix aufgereiht sind, wobei jedes Pixel die Lichtintensität (Helligkeit, Luminanz) an einer entsprechenden Lage hiervon darstellt.
Die Kamera 15 arbeitet auch dahingehend, eigenständig ihre Belichtung basierend auf dem Umgebungslicht zu steuern, so dass aufgenommene Bilder erhalten werden, von denen jedes geeigneten Kontrast hat. Kontrast bedeutet den Luminanz- (Lichtintensitäts- oder Helligkeits-) Bereich eines Bilds. Beispielsweise arbeitet die Kamera 15 dahingehend, die durchschnittliche Luminanz aller Pixel aufgenommener Bilder zu berechnen, und steuert die Belichtung für sich selbst basierend auf der berechneten Durchschnittsluminanz als Umgebungslicht.
Genauer gesagt, die Kamera 15 ist aufgebaut aus einer Linse 15a, einer Blende 15b, einem Verschluss 15c, einem Bildsensor 15d, Treibern 15e und 15f, einer Steuerung 15g und einem digitalen Prozessor 15h.
Die Linse 15a besteht aus einem oder mehreren Teilen aus optischem Glas oder ähnlichem Material zum Sammeln und Fokussieren von Licht.
Die Blende 15b ist als eine Öffnung einstellbarer Größe so ausgelegt, dass ein Teil des von der Linse 15a gesammelten Lichts hindurchtritt, so dass die Menge an Licht zur Aufnahme durch den Bildsensor 15b gesteuert wird.
Der Verschluss 15c ist öffenbar ausgestaltet und dahingehend betreibbar, die Zeit zu steuern, während der Licht durch die Blende 15b läuft und den Bildsensor 15d erreicht. Das heißt, die Öffnungsgeschwindigkeit (Verschlussgeschwindigkeit) bestimmt die Zeit, während der durch die Blende 15b hindurchtretendes Licht den Bildsensor 15d erreicht.
Der Bildsensor 15d besteht aus einer Mehrzahl lichtempfindlicher Elemente, die in einer Matrix aufgereiht sind und einen lichtempfindlichen Pixelbereich bilden; jedes der lichtempfindlichen Elemente entspricht einem Pixel eines vom Bildsensor 15d aufzunehmenden Bilds.
Wenn Licht von dem lichtempfindlichen Pixelbereich des Bildsensors 15d empfangen wird, wird das empfangene Licht durch die lichtempfindlichen Elemente in ein elektrisches Analogbild umgewandelt.
Der Bildsensor 15d ist mit einem Verstärker versehen, um das hierdurch erkannte analoge Bild zu verstärken, und steht in Kommunikationsverbindung mit der Steuerung 15g. Der Verstärkungsfaktor des Verstärkers ist von der Steuerung 15g steuerbar, so dass eine ISO-Empfindlichkeit (ISO = International Organization Standard) des Bildsensors 15d von der Steuerung 15g einstellbar ist.
Der Treiber 15e steht in Kommunikationsverbindung mit der Steuerung 15g und arbeitet dahingehend, die Öffnungsgröße der Blende 15b unter Steuerung der Steuerung 15g zu ändern, so dass die Lichtmenge zur Aufnahme durch den Bildsensor 15b gesteuert wird.
Der Treiber 15f ist in Kommunikationsverbindung mit der Steuerung 15g und arbeitet dahingehend, die Verschlussgeschwindigkeit des Verschlusses 15c einzustellen, so dass damit die Zeit bestimmt wird, während der das durch die Blende 15b tretende Licht auf den Pixelbereich des Bildsensors 15d gestrahlt wird.
Die Steuerung 15g ist in Kommunikationsverbindung mit der CPU 10a der Steuerung 10.
Die Steuerung 15g arbeitet dahingehend, die durchschnittliche Luminanz aller Pixel von Bildern zu berechnen, die vom Bildsensor 15d aufgenommen wurden, und steuert die Belichtung der Kamera 15 für sich selbst basierend auf der berechneten durchschnittlichen Luminanz als Umgebungslicht
Der digitale Prozessor 15h arbeitet dahingehend, das analoge Bild in ein digitales Bild umzuwandeln und das digitale Bild an die Steuerung 10 auszugeben.
Zusätzlich arbeitet die Kamera 15 dahingehend, ihre Belichtung in Antwort auf Anweisungen zu steuern, die von der Steuerung 10 geliefert werden.
Die Belichtung der Kamera 15 bedeutet wenigstens einen Belichtungsparameter, der die Menge an Licht bestimmt, welches auf den Pixelbereich des Bildsensors 15d gestrahlt wird.
Wenn von der CPU 10a der Steuerung 10 Anweisungen empfangen werden, welche einen Zielbelichtungswert bestimmen, der die Belichtung der Kamera 15 anzeigt, ändert die Steuerung 15g wenigstens entweder: Öffnungsgröße der Blende 15b oder Verschlussgeschwindigkeit des Verschlusses 15c oder Verstärkungsfaktor des Verstärkers im Bildsensor 15d gemäß den empfangenen Anweisungen. Dies erlaubt, dass der Zielbelichtungswert der Kamera 15 eingestellt wird.
Die fahrzeugseitige Vorrichtung 20 ist in das Fahrzeug eingebaut und arbeitet dahingehend, verschiedene Aufgaben durchzuführen, beispielsweise gesteuerte Zielsteueraufgaben, welche Betriebsbedingungen (Fahrzuständen) des Fahrzeugs zugeordnet sind, und zwar basierend auf Durchführungsergebnissen der Mehrzahl von Programmen durch die Steuerung 10.
Beispielsweise kann als fahrzeugseitige Vorrichtung 20 eine automatische Lenksteuerung zum automatischen Steuern der Lenkung des Fahrzeugs basierend auf Durchführungsergebnissen des Spurerkennungsprogramms P oder eine Alarmvorrichtung zur Ausgabe einer „Fahrzeug kommt von Fahrbahn ab - Warnung“ an den Fahrer gemäß den Durchführungsergebnissen des Spurerkennungsprogramms P verwendet werden.
Die Steuerung 10 des Spurerkennungssystems 1 ist dafür ausgelegt, das Spurerkennungsprogramm P zu starten und somit eine Spurerkennungsroutine durchzuführen, immer dann, wenn:

ein Zündschlüssel in die Zündposition gebracht wird, so dass Energie zugeführt wird, während eine Brennkraftmaschine und ein Wechselrichter in dem Fahrzeug eingeschaltet sind; oder
der Zündschlüssel in einer Hilfsposition ist, so dass Energie von einer in das Fahrzeug eingebauten Batterie geliefert wird.

Danach wird das Spurerkennungsprogramm von der Steuerung 10 zyklisch durchgeführt, bis die Energiezufuhr unterbrochen wird.
Die Spurerkennungsroutine zur Durchführung durch die CPU 10a gemäß dem Spurerkennungsprogramm P wird nachfolgend unter Bezugnahme auf 2 beschrieben. Es sei festzuhalten, dass die Abläufe in den Schritten S130 bis S190 einer Belichtungsbestimmungseinheit gemäß der Ausführungsform entsprechen.
Bei Beginn der Durchführung des Spurerkennungsprogramms P sendet die CPU 10a an die Kamera 15 (die Steuerung 15g) eine Anweisung, welche die Kamera 15 anweist, ein erstes Bild mit einer selbst bestimmten Belichtung aufzunehmen (Schritt S120).
Basierend auf der Anweisung von der CPU 10a erlangt die Steuerung 15g das Umgebungslicht (Umgebungshelligkeit) im Schritt S300. Beispielsweise veranlasst die Steuerung 15g den Verschluss 15c, sich zu öffnen, um damit ein Bild eines Zielbereichs aufzunehmen, und berechnet die durchschnittliche Luminanz aller Pixel des aufgenommenen Bilds als Umgebungslicht (Umgebungshelligkeit) im Schritt S300.
Basierend auf der erhaltenen Umgebungshelligkeit stellt die Steuerung 15g für sich selbst wenigstens entweder ein: die Öffnungsgröße der Blende 15b, die Verschlussgeschwindigkeit des Verschlusses 15b und den Verstärkungsfaktor des Verstärkers vom Bildsensor 15c, um dadurch im Schritt S310 die erste Belichtung (wenigstens einen ersten Belichtungsparameter) der Kamera 15 zu bestimmen.
Nachfolgend steuert die Steuerung 15g die Blende 15b, den Verschluss 15c und den Bildsensor 15d basierend auf der ersten Belichtung, um damit ein erstes Bild des Zielbereichs mit der ersten Belichtung im Schritt S320 aufzunehmen. Im Schritt S320 sendet die Steuerung 15g das aufgenommene erste Bild im digitalen Format an die Steuerung 10.
Die CPU 10a der Steuerung 10 empfängt (erlangt) das aufgenommene erste Bild, das von der Kamera 15 gesendet wird, und speichert das aufgenommene erste Bild im Schritt S130, beispielsweise im RAM 10c.
Nachfolgend entnimmt die CPU 10a eine Mehrzahl von vorab gesetzten (programmierten) Bereichen (Straßenoberflächenluminanzerkennungsbereiche) in dem aufgenommenen ersten Bild und berechnet eine Luminanz in jedem Bereich einer Straßenoberfläche im Schritt S140.
Die bestimmten Abläufe der CPU 10a im Schritt S140 werden nachfolgend unter Bezug auf 3A beschrieben. 3A zeigt ein Beispiel eines vorab gesetzten Spurerkennungsbereichs in einem aufgenommenen Bild I unter der Annahme, dass der Zielbereich vorderhalb des Fahrzeugs einen sonnigen Bereich (hellen Bereich) und einen schattigen Bereich (dunklen Bereich) aufweist, die in Vorwärtsrichtung des Fahrzeugs in dieser Reihenfolge auch aneinandergereiht sind.
Gemäß der Ausführungsform ist eine Mitte in Vertikalrichtung eines aufgenommenen Bilds I als Spurerkennungsbereich RA als ein Zielbereich zur Spurerkennung gesetzt. Zusätzlich sind in dem Spurerkennungsbereich RA vier Bereiche AR1, AR2, AR3 und AR4, die einander benachbart in zwei Reihen in vertikaler Richtung und zwei Spalten in horizontaler Richtung aneinandergereiht sind, als Straßenoberflächenluminanzerkennungsbereiche gesetzt.
Beispielsweise sind die Bereiche AR3 und AR4 so angeordnet, dass sie eine erste Reihe in der Matrix bilden, und die Bereiche AR1 und aR2 sind an den jeweiligen Unterseiten der Bereiche AR3 und AR4 angeordnet, um eine zweite Reihe der Matrix zu bilden.
Länge und Breite des Spurerkennungsbereichs RA sind bestimmt, dass ermöglicht wird, die Luminanz an Abschnitten von Straßenoberflächen um die Spuren herum richtig zu erkennen. Auf ähnliche Weise ist die Anzahl von Bereichen in dem Spurerkennungsbereich RA so bestimmt, dass die Luminanz an Abschnitten von Straßenoberflächen um die Spuren herum richtig erkannt werden kann. Weiterhin sind Länge und Breite eines jeden der Bereiche AR1 bis AR4 so bestimmt, dass die Luminanz an Abschnitten von Straßenoberflächen um die Spuren herum richtig erkannt werden kann.
Im Schritt S140 berechnet die CPU 10a die durchschnittliche Luminanz (durchschnittliche Lichtintensität) aller Pixel in jedem der Bereiche AR1 bis AR4, um damit die durchschnittliche Luminanz in jedem der Bereiche AR1 bis AR4 als geschätzte Luminanz in jedem der Bereiche AR1 bis AR4 der Straßenoberfläche zu schätzen.
Es sei festzuhalten, dass die Luminanz einer Straßenoberfläche mit Ausnahme der Spuren hierauf als etwas niedriger als der Durchschnittswert eines entsprechenden Bereichs geschätzt wird, in welchem eine Spur enthalten ist. Aus diesem Grund ist der Anstieg der durchschnittlichen Luminanz in jedem der Bereiche AR1 bis AR4, wenn eine Spur hierin enthalten ist, im Vergleich zur durchschnittlichen Helligkeit eines entsprechenden der Bereiche AR1 bis AR4, wenn keine Spuren enthalten sind, durch Experimente, Simulationen oder dergleichen geschätzt. Dann kann im Schritt S140 die CPU 10a die geschätzte Luminanz in jedem der Bereiche AR1 bis AR4 der Straßenoberfläche berechnen, indem der geschätzte Anstieg der durchschnittlichen Luminanz in einem entsprechenden der Bereiche AR1 bis AR4 subtrahiert wird.
Im Schritt S140 kann die CPU 10a eine Mehrzahl von Straßenoberflächenluminanzerkennungsbereichen in dem Spurerkennungsbereich RA so festsetzen, dass die Straßenoberflächenluminanzerkennungsbereiche um die Spuren herum liegen, die in dem Spurerkennungsbereich RA enthalten sind.
Genauer gesagt, 3B zeigt ein anderes Beispiel des vorab gesetzten Spurerkennungsbereichs RA in einem aufgenommenen Bild I unter der Annahme, dass der Zielbereich vorderhalb des Fahrzeugs einen sonnigen Bereich und einen schattigen Bereich aufweist, die in dieser Reihenfolge in einer Richtung von links nach rechts aneinandergereiht sind.
Gemäß 3B können in dem Spurerkennungsbereich RA vier Paare von Bereichen AR1a, AR1b, AR2a, AR2b, AR3a, AR3b und AR4a, AR4b benachbart in zwei Reihen in vertikaler Richtung und vier Spalten in horizontaler Richtung angeordnet um die Spuren L1 und L2 als die Straßenoberflächenluminanzerkennungsbereiche gesetzt werden.
Beispielsweise sind das Paar von Bereichen AR3a und AR3b und das Paar von Bereichen AR4a und AR4b so angeordnet, dass sie eine erste Reihe in der Matrix derart bilden, dass:

die Bereiche AR3a und AR3b an beiden Seiten der Spur L1 in horizontaler Richtung liegen; und
die Bereiche AR4a und AR4b an beiden Seiten der Spur L2 in horizontaler Richtung liegen.

Ähnlich sind das Paar von Bereichen AR1a und AR1b und das Paar von Bereichen AR2a und AR2b so angeordnet, dass sie eine zweite Reihe in der Matrix derart bilden, dass:

die Bereiche AR1a und AR1b an beiden Seiten der Spur L1 in horizontaler Richtung liegen; und
die Bereiche AR2a und AR2b an beiden Seiten der Spur L2 in horizontaler Richtung liegen.

Die Anordnung der Straßenoberflächenluminanzerkennungsbereiche AR1a, AR1b, AR2a, AR2b, AR3a, AR3b und AR4a, AR4b erlaubt, dass keine Spuren hierin enthalten können. Aus diesem Grund ist es möglich, die Genauigkeit der Abschätzung der Durchschnittsluminanz in jedem der Straßenoberflächenluminanzerkennungsbereiche AR1a, AR1b, AR2a, AR2b, AR3a, AR3b und AR4a, AR4b als die Luminanz der Straßenoberfläche abzuschätzen, die in einem entsprechenden der Straßenoberflächenluminanzerkennungsbereiche AR1a, AR1b, AR2a, AR2b, AR3a, AR3b und AR4a, AR4b enthalten ist.
Nach dem Ablauf von Schritt S140 bestimmt die CPU 10a im Schritt S150 den Fehlanpassungsbetrag in der Belichtung in jedem der Bereiche AR1 bis AR4.
Genauer gesagt, die CPU 10a bestimmt die korrekte Belichtung für jeden der Bereiche AR1 bis AR4 basierend auf der berechneten Luminanz in einem entsprechenden der Bereiche AR1 bis AR4 der Straßenoberfläche; diese korrekte Belichtung für jeden der Bereiche AR1 bis AR4 ist am besten geeignet zur Aufnahme eines entsprechenden der Bereiche AR1 bis AR4 in dem Zielbereich.
Danach vergleicht die CPU 10a die bestimmte korrekte Belichtung für jeden der Bereiche AR1 bis AR4 mit der ersten Belichtung, die von der Kamera 15 für sich selbst im Schritt S150b bestimmt wurde.
Die CPU 10a bestimmt den Fehlanpassungsbetrag in der Belichtung für jeden der Bereiche AR1 bis AR4 basierend auf den Vergleichsergebnissen im Schritt S150b. Es sei festzuhalten, dass der Fehlanpassungsbetrag in der Belichtung nachfolgend als „Belichtungsfehlanpassungsbetrag“ bezeichnet wird.
Genauer gesagt, im Schritt S150b bestimmt die CPU 10a den Belichtungsfehlanpassungsbetrag in jedem der Bereiche AR1 bis AR4 so, dass, je größer die Differenz zwischen der korrekten Belichtung für jeden der Bereiche AR1 bis AR4 und der ersten Belichtung ist, umso höher der Belichtungsfehlanpassungsbetrag in einem entsprechenden der Straßenoberflächenluminanzerkennungsbereiche AR1 bis AR4 ist (Schritt S150c).
Mit anderen Worten, die CPU 10a bestimmt den Belichtungsfehlanpassungsbetrag in jedem der Bereiche AR1 bis AR4 so, dass, je höher (Überbelichtung) oder niedriger (Unterbelichtung) die erste Belichtung relativ zur korrekten Belichtung in jedem der Bereiche AR1 bis AR4 ist, umso höher der Belichtungsfehlanpassungsbetrag in einem entsprechenden der Straßenoberflächenluminanzerkennungsbereiche AR1 bis AR4 ist (Schritt S150c).
Wenn beispielsweise ein Wert des Belichtungsfehlanpassungsbetrags in jedem der Bereiche AR1 bis AR4 als einer von fünf abgestuften Werten entsprechend Wert 0, Wert 1, Wert 2, Wert 3 und Wert 4 in aufsteigender Folge ist, bestimmt die CPU 10a den Wert des Belichtungsfehlanpassungsbetrags in einem Bereich als Wert 0 (Minimumwert), wenn die Differenz zwischen der korrekten Belichtung für den Bereich und der ersten Belichtung gleich oder niedriger als ein erster Schwellenwert ist.
Die CPU 10a bestimmt einen Wert des Belichtungsfehlanpassungsbetrags in einem Bereich als Wert 1, wenn die Differenz zwischen der korrekten Belichtung für den Bereich und der ersten Belichtung größer als der erste Schwellenwert und gleich oder niedriger als ein zweiter Schwellenwert ist, der höher als der erste Schwellenwert ist.
Die CPU 10a bestimmt einen Wert des Belichtungsfehlanpassungsbetrags in einem Bereich als Wert 2, wenn die Differenz zwischen der korrekten Belichtung für den Bereich und der ersten Belichtung größer als der zweite Schwellenwert und gleich oder niedriger als ein dritter Schwellenwert ist, der höher als der zweite Schwellenwert ist.
Die CPU 10a bestimmt einen Wert des Belichtungsfehlanpassungsbetrags in einem Bereich als Wert 3, wenn die Differenz zwischen der korrekten Belichtung für den Bereich und der ersten Belichtung größer als der dritte Schwellenwert und gleich oder niedriger als ein vierter Schwellenwert ist, der höher als der dritte Schwellenwert ist.
Die CPU 10a bestimmt einen Wert des Belichtungsfehlanpassungsbetrags in einem Bereich als Wert 4 (Maximumwert), wenn die Differenz zwischen der korrekten Belichtung für den Bereich und der ersten Belichtung größer als der vierte Schwellenwert ist.
Nachfolgend bestimmt die CPU 10a, ob es wenigstens einen Fehlanpassungsbereich in allen Bereichen AR1 bis AR4 gibt; Kanten werden im Schritt S160 als unerkannt in diesem wenigstens einen Fehlanpassungsbereich geschätzt. Genauer gesagt, im Schritt S160 bestimmt die CPU 10a, ob ein Wert des Belichtungsfehlanpassungsbetrags in einem Zielbereich ARk (k = 1, 2, 3 oder 4) in den Bereichen AR1 bis AR4 gleich oder größer als ein variabel gesetzter Belichtungsschwellenwert ist.
Die CPU 10a setzt den Belichtungsschwellenwert variabel auf einen Wert abhängig von einem Dynamikbereich, mit anderen Worten, einer Auflösung des ersten Bilds, das von der Kamera 15 bei der ersten Belichtung aufgenommen wurde (Schritt S160).
Genauer gesagt, im Schritt S160 erlangt die CPU 10a eine Verteilung der Luminanzen der Straßenoberfläche basierend auf den Pixeln des ersten Bilds, das bei der ersten Belichtung aufgenommen wurde, und erlangt den Bereich der Luminanzen, innerhalb dessen die Kanten des ersten Bilds erkannt werden können. Im Schritt S160 setzt die CPU 10a den Belichtungsschwellenwert über den erhaltenen Bereich der Luminanzen.
Wenn beispielsweise der erhaltene Bereich von Luminanzen der Straßenoberfläche basierend auf den Pixeln des ersten Bilds, das bei der ersten Belichtung aufgenommen wurde, dem Bereich von geschätzten Luminanzen entsprechend dem Bereich vom Wert 0 bis zum Wert 2 entspricht, setzt die CPU 10a den Belichtungsschwellenwert auf den Wert 3. Weiterhin, wenn beispielsweise der erhaltene Bereich der Luminanzen der Straßenoberfläche basierend auf den Pixeln des ersten Bilds, das bei der ersten Belichtung aufgenommen wurde, dem Bereich der geschätzten Luminanzen entsprechend dem Bereich vom Wert bis zum Wert 3 entspricht, setzt die CPU 10a den Belichtungsschwellenwert auf den Wert 4.
Es sei festzuhalten, dass der Bereich der Luminanzen der Straßenoberfläche basierend auf den Pixeln des ersten Bilds, das bei der ersten Belichtung aufgenommen wurde, experimentell für jeden von eingestellten Werten der ersten Belichtung bestimmt werden kann. Der Belichtungsschwellenwert abhängig vom bestimmten Bereich der Luminanzen für jeden der eingestellten Werte bei der ersten Belichtung kann experimentell bestimmt werden.
Wenn der Zielbereich vorderhalb des Fahrzeugs von der Kamera 15 aufgenommen wird, entspricht die Umgebungshelligkeit (die Helligkeit um die Kamera 15) der Helligkeit eines hellen Bereichs oder derjenigen eines dunklen Bereichs. Beispielsweise entspricht der sonnige Bereich dem hellen Bereich und der abgeschattete Bereich entspricht dem dunklen Bereich. Als anderes Beispiel: Das Innere eines Tunnels entspricht dem dunklen Bereich und das Äußere hiervon entspricht dem hellen Bereich.
Somit wird die erste Belichtung normalerweise basierend auf der Umgebungshelligkeit entsprechen dem hellen Bereich oder dunklen Bereich bestimmt. Wenn somit das erste Bild bei der ersten Belichtung entsprechend dem hellen Bereich von der Kamera 15 aufgenommen wird, erlaubt, wenn es einen Fehlanpassungsbereich in allen Bereichen AR1 bis AR4 gibt, die zweite Belichtung entsprechend dem dunklen Bereich, dass Kanten in dem einen Fehlanpassungsbereich erkannt werden.
Auf ähnliche Weise, wenn das erste Bild von der Kamera 15 bei der ersten Belichtung entsprechend dem dunklen Bereich aufgenommen wird, erlaubt, wenn es einen Fehlanpassungsbereich in allen Bereichen AR1 bis AR4 gibt, die zweite Belichtung entsprechend dem hellen Bereich, dass Kanten in dem einen Fehlanpassungsbereich erkannt werden.
Insbesondere wird angenommen, dass:

der Zielbereich vorderhalb des Fahrzeugs einen sonnigen Bereich und einen schattigen Bereich enthält, die in Vorwärtsrichtung von dem Fahrzeug aus gesehen in dieser Reihenfolge aneinandergereiht sind, wie in 3A gezeigt; und
die erste Belichtung basierend auf der Umgebungshelligkeit entsprechend dem sonnigen Bereich in 3A bestimmt wird.

Unter dieser Annahme wird wahrscheinlich ein vergleichsweise niedriger Wert, beispielsweise der Wert 0 oder der Wert 1, in jeden der Bereiche AR1 und AR2 gesetzt, die in dem sonnigen Bereich enthalten sind, und im Gegensatz hierzu wird ein vergleichsweise hoher Wert, beispielsweise der Wert 3 oder der Wert 4, wahrscheinlich in jeden der Bereiche AR3 und AR4 gesetzt, die in dem schattigen Bereich enthalten sind.
Bei Bestimmung, dass es keine Fehlanpassungsbereiche in allen Bereichen AR1 bis AR4 gibt (die Bestimmung im Schritt S160 ist NEIN), bestimmt die CPU 10a, dass die Kanten in allen Bereichen AR1 bis AR4 basierend auf den Pixeln des ersten Bilds erkannt werden können, das bei der ersten Belichtung aufgenommen wurde. Dann geht die CPU 10a zum Schritt S70 und erkennt Kanten in dem ersten Bild, das in dem RAM 10c gespeichert ist (Schritt S170).
Nachfolgend analysiert die CPU 10a die erkannten Kanten und extrahiert damit aus den erkannten Kanten diejenigen Kanten, welche eine geradlinige oder leicht geneigte Form haben und sich über einen weiten Bereich erstrecken, also beispielsweise Spuren auf der Straßenoberfläche (Schritt S175). Danach speichert im Schritt S175 die CPU 10a beispielsweise im RAM 10c Koordinaten (Adressen) der extrahierten Kanten als Positionsdaten der Spuren auf der Straßenoberfläche vorderhalb des Fahrzeugs. Danach verlässt die CPU 10a die aktuelle Spurerkennungsroutine, und wenn ein Zyklus seit dem Austritt verstrichen ist, führt die CPU 10a die Spurerkennungsroutine wieder durch.
Andererseits, bei Bestimmung, dass es wenigstens einen Fehlanpassungsbereich in allen Bereichen AR1 bis AR4 gibt (Bestimmung im Schritt S160 ist JA), bestimmt die CPU 10a, dass Kanten nicht in dem wenigstens einen Fehlanpassungsbereich erkannt werden können (in wenigstens einem der Bereiche AR1 bis AR4). Damit geht die CPU 10a zum Schritt S180.
Im Schritt S180 bestimmt die CPU 10a wenigstens: Öffnungsgröße der Blende 15b der Kamera 15 oder Verschlussgeschwindigkeit des Verschlusses 15b der Kamera 15 oder Verstärkungsfaktor des Verstärkers im Bildsensor 15c der Kamera 15 als zweite Belichtung (wenigstens ein zweiter Belichtungsparameter) der Kamera 15.
Insbesondere bestimmt im Schritt S180, wenn gewisse Fehlanpassungsbereiche im Schritt S160 erkannt worden sind, die CPU 10a die zweite Belichtung so, dass die bestimmte zweite Belichtung die am meisten geeignete Belichtung ist, wenn wenigstens einer von einigen Fehlanpassungsbereichen, die im Schritt S160 erkannt wurden, bei dem der größte Wert des Belichtungsfehlanpassungswerts in einigen Fehlanpassungsbereichen gesetzt wurde, von der Kamera 15 aufgenommen wird. Der wenigstens eine von einigen Fehlanpassungsbereichen, erkannt im Schritt S160, bei dem der größte Wert des Belichtungsfehlanpassungswerts in einigen Fehlanpassungsbereichen gesetzt wurde, bedeutet einen Bereich, bei dem die Differenz zwischen der korrekten Belichtung für den Bereich und der ersten Belichtung aus all den Differenzen für alle Bereiche AR1 bis AR4 am größten ist.
Beispielsweise seien unter dieser Annahme gemäß 3A, wenn der Belichtungsschwellenwert auf den Wert 2 gesetzt ist, die Bereiche AR3 und AR 4 im Schritt S160 als Fehlanpassungsbereiche erkannt. Hierbei wird, wenn die Werte 3 und 4 entsprechend in den Bereichen AR3 und AR4 gesetzt sind, die zweite Belichtung so bestimmt, dass die bestimmte zweite Belichtung die am besten geeignete Belichtung ist, wenn der Fehlanpassungsbereich AR4, bei der maximale Wert (Wert 4) gesetzt wurde, von der Kamera 15 aufgenommen wird (im Schritt S180).
Es sei festzuhalten, dass im Schritt S180, wenn bestimmte Fehlanpassungsbereiche im Schritt S160 erkannt wurden, die CPU 10a die zweite Belichtung basierend auf einem Durchschnitt der Werte der Belichtungsfehlanpassungswerte der im Schritt S160 erkannten Fehlanpassungsbereiche bestimmen kann.
Nachfolgend sendet die CPU 10a im Schritt S190 an die Kamera 15 (die Steuerung 15g) eine Anweisung, welche die Kamera 15 anweist, ein zweites Bild bei der zweiten Belichtung aufzunehmen.
Basierend auf der Anweisung von der CPU 10a stellt die Steuerung 15g wenigstens ein: Öffnungsgröße der Blende 15b oder Verschlussgeschwindigkeit des Verschlusses 15c oder Verstärkungsfaktor des Verstärkers im Bildsensor 15d, um die Belichtung der Kamera 15 auf die zweite Belichtung zu setzen (Schritt S330).
Nachfolgend steuert die Steuerung 15g die Blende 15b, den Verschluss 15c und den Bildsensor 15d basierend auf der zweiten Belichtung, um somit ein zweites Bild des Zielbereichs im Schritt S340 mit der zweiten Belichtung aufzunehmen. Im Schritt S340 sendet die Steuerung 15g das aufgenommene zweite Bild im digitalen Format an die Steuerung 10.
Die CPU 10a der Steuerung 10 empfängt (erlangt) das aufgenommene zweite Bild, das von der Kamera 15 gesendet wird, und speichert das aufgenommene zweite Bild im Schritt S200 im RAM 10c.
Nachfolgend erkennt die CPU 10a Kanten aus jedem der zweiten Bilder, die im RAM 10c gespeichert sind (Schritt S210).
Im Schritt S220 vermischt die CPU 10a die erkannten Kanten aus dem ersten Bild und diejenigen aus dem zweiten Bild.
Danach analysiert die CPU 10a die gemischten Daten und, basierend auf den Analyseergebnissen, extrahiert sie aus dem gemischten Bild Kanten, welche jeweils eine geradlinige oder sanft geneigte Form haben und sich über einen weiten Bereich erstrecken, also beispielsweise Fahrspuren auf der Straßenoberfläche im Schritt S230. Dann speichert im Schritt S230 die CPU 10a beispielsweise im RAM 10c die Koordinaten (Adressen) der extrahierten Kanten des gemischten Bilds als Positionsdaten der Spuren der Straßenoberfläche vorderhalb des Fahrzeugs. Danach verlässt die CPU 10a die Spurerkennungsroutine. Nachdem ein Zyklus seit dem Austritt verstrichen ist, führt die CPU 10a wieder eine Spurerkennungsroutine durch.
Wie oben beschrieben, ist die Steuerung 10 des Spurerkennungssystems 1 gemäß der Ausführungsform konfiguriert, um:

die Kamera 15 anzuweisen, ein erstes Bild bei der selbstbestimmten ersten Belichtung aufzunehmen;
eine Straßenoberflächenluminanz in jedem der Bereiche AR1 bis AR4 des ersten Bilds zu berechnen; und
basierend auf der berechneten Straßenoberflächenluminanz eines jeden der Bereiche AR1 bis AR4 zu bestimmen, ob es wenigstens einen Fehlanpassungsbereich in allen Bereichen AR1 bis AR4 gibt, wobei Kanten in diesem wenigstens einen Fehlanpassungsbereich als nicht erkennbar geschätzt werden.

Wenn bestimmt wird, dass es keine Fehlanpassungsbereiche in allen Bereichen AR1 bis AR4 gibt, bestimmt die Steuerung 10, dass in allen Bereichen AR1 bis AR4 Kanten basierend auf den Pixeln des ersten Bilds erkannt werden können, das bei der ersten Belichtung aufgenommen wurde. Somit erkennt die Steuerung 10 Kanten des ersten Bilds ohne Aufnahme eines zweiten Bilds bei einer anderen Belichtung bei jeder Durchführung der Spurerkennungsroutine.
Wenn andererseits bestimmt wird, dass es wenigstens einen Fehlanpassungsbereich in allen Bereichen AR1 bis AR4 gibt, bestimmt die Steuerung 10 basierend auf dem aufgenommenen ersten Bild die zweite von der Kamera 15 durchzuführende Belichtung, um die nächste Bildaufnahme durchzuführen.
Insbesondere bestimmt die Steuerung 10 die zweite Belichtung, welche der Luminanz des wenigstens einen Fehlanpassungsbereichs entspricht.
Danach weist die Steuerung 10 die Kamera 15 an, das zweite Bild mit der zweiten Belichtung aufzunehmen, und erkennt die Kanten aus jedem der ersten und zweiten Bilder.
Mit der Konfiguration des Spurerkennungssystems 1 ist es, wenn bestimmt wird, dass die Luminanz der Straßenoberfläche vorderhalb des Fahrzeugs, erhalten aus dem aufgenommenen ersten Bild bei der ersten Belichtung, es erlaubt, dass Kanten erkannt werden, möglich, die Bestimmung einer anderen Belichtung sowie die Aufnahme eines anderen Bilds basierend auf der anderen Belichtung zu unterlassen, um Kanten bei jeder Durchführung der Spurerkennungsroutine durchzuführen.
Zusätzlich, nur wenn bestimmt wird, dass die Luminanz der Straßenoberfläche vorderhalb des Fahrzeugs, erhalten aus dem aufgenommenen ersten Bild bei der ersten Belichtung, es schwierig macht, Kanten zu erkennen, oder unmöglich macht, führt das Spurerkennungssystem 1 die Bestimmung der zweiten Belichtung und die Aufnahme bei der zweiten Belichtung basierend auf der zweiten Belichtung durch, um die Kanten zu erkennen.
Somit erreicht das Spurerkennungssystem 1 den Vorteil einer genauen Erkennung von Kanten, wobei eine Verarbeitungsbelastung der Steuerung 10 soweit als möglich verringert ist.
Das Spurerkennungssystem 1 erzielt den Vorteil, dass Spuren auf einer Straßenoberfläche vorderhalb des Fahrzeugs basierend auf den Formen der erkannten Kanten erkannt werden können.
Die Steuerung 10 des Spurerkennungssystems 1 berechnet die durchschnittliche Luminanz (durchschnittliche Lichtintensität) aller Pixel in jedem der Bereiche AR1 bis AR4, um damit die durchschnittliche Luminanz in jedem der Bereiche AR1 bis AR4 als geschätzte Luminanz in jedem der Bereiche AR1 bis AR4 der Straßenoberfläche zu schätzen.
Selbst wenn es daher Änderungen in den Luminanzen aller Pixel in jedem der Bereiche AR1 bis AR4 gibt, ist es möglich, die Schwankungen in den Luminanzen aller Pixel in jedem der Bereiche AR1 bis AR4 zu mitteln.
Zusätzlich, wenn bestimmte Fehlanpassungsbereiche erkannt werden, bestimmt die Steuerung 10 die zweite Belichtung so, dass die bestimmte zweite Belichtung die am meisten geeignete Belichtung ist, wenn ein erkannter Fehlanpassungsbereich (ein am meisten ungeeigneter Bereich bei der Belichtung) von der Kamera 15 aufgenommen wird, bei dem der größte Wert des Belichtungsfehlanpassungswerts in einigen Fehlanpassungsbereichen gesetzt wurde.
Dies bringt den Vorteil, dass die zweite Belichtung bestimmt wird, welche erlaubt, dass ein am meisten ungeeigneter Bereich bei der Belichtung aufgenommen wird, wobei die Kanten hierin zuverlässig erkennbar sind.
Die vorliegende Erfindung ist nicht auf die Ausführungsform beschränkt und die vorliegende Erfindung kann bei verschiedenen Modifikationen im Rahmen der vorliegenden Erfindung angewendet werden.
Beispielsweise ist bei der Ausführungsform die Kamera 15 so konfiguriert, dass sie für sich selbst die erste Belichtung basierend auf der Umgebungshelligkeit in den Schritten S300 und S310 bestimmt, jedoch ist die vorliegende Erfindung nicht auf diesen Aufbau beschränkt.
Genauer gesagt, bei der ersten Abwandlung der Ausführungsform kann, Bezug nehmend auf 2, wenn die Spurerkennungsroutine momentan läuft, die CPU 10a die durchschnittliche Luminanz aller Pixel in allen Bereichen AR1 bis AR4 des ersten Bilds oder des zweiten Bilds berechnen (Schritt S110; gestrichelt dargestellt); dieses erste Bild oder zweite Bild wurde von der Kamera 15 bei der vorherigen Durchführung der Spurerkennungsroutine aufgenommen.
Basierend auf der durchschnittlichen Luminanz in jedem der Bereiche AR1 bis AR4 kann die CPU 10a die erste Belichtung bestimmen und an die Kamera 15 (die Steuerung 15g) eine Anweisung senden, welche die Kamera 15 anweist, das erste Bild mit der zweiten Belichtung aufzunehmen (Schritt S110).
Basierend auf der Anweisung von der CPU 10a kann die Steuerung 15g zumindest einstellen: Öffnungsgröße der Blende 15b oder Verschlussgeschwindigkeit des Verschlusses 15c oder Verstärkungsfaktor des Verstärkers im Bildsensor 15d, um die Belichtung der Kamera 15 auf die erste Belichtung einzustellen (siehe Schritt S320).
Wenn gerade die Spurerkennungsroutine durchgeführt wird, kann das Spurerkennungssystem 1 gemäß der ersten Abwandlung die erste Belichtung basierend auf den Luminanzen wenigstens einiger Pixel in dem ersten oder zweiten Bild bestimmen, das bei der vorherigen Durchführung der Spurerkennungsroutine aufgenommen wurde.
Insbesondere kann im Schritt S110 die CPU 10a die erste Belichtung so bestimmen, dass die bestimmte erste Belichtung die am besten geeignete Belichtung ist, wenn einer der Bereiche AR1 bis AR4, in dem die durchschnittliche Luminanz berechnet wurde, von der Kamera 15 aufgenommen wird. Dies kann innerhalb des Dynamikbereichs der Kamera 15 die Luminanzen in einem anderen Bereich der Bereiche AR1 bis AR4 in dem ersten Bild aufrechterhalten, das von der Kamera 15 bei der ersten Belichtung aufgenommen wurde, und zwar bei der nächsten Durchführung der Spurerkennungsroutine. Dies macht es möglich, einfach die zweite Belichtung bei der nächsten Durchführung der Spurerkennung zu bestimmen.
Das Spurerkennungssystem 1 ist so ausgelegt, dass auf geeignete Weise Spuren in der Straßenoberfläche vorderhalb des Fahrzeugs erkannt werden, jedoch kann die Steuerung 10 gemäß einer zweiten Abwandlung mit Ausnahme der Spuren auch Objekte erkennen; diese Objekte umfassen Passanten, also beispielsweise Fußgänger oder auch Fahrradfahrer, und straßenseitige Objekte, wie Verkehrszeichen oder Signale.
Bei der zweiten Abwandlung werden vorab im HDD 10d Musterbilddaten PID gespeichert. Die Musterbilddaten PID beinhalten eine Mehrzahl von Zielmusterbildern in digitalem Format, welche jeweils eine Mehrzahl von Merkmalen der Objekte als durch das Spurerkennungssystem 1 zu erkennende Ziele angeben.
Beispielsweise besteht jedes aus der Mehrzahl von Musterbildern aus aneinandergereihten Pixeln, welche jeweils die Lichtintensität (Luminanz) einer entsprechenden Lage hiervon darstellen. Jedes der Musterbilder hat ein entsprechendes bestimmtes Muster seiner Pixel; dieses bestimmte Muster entspricht einem aus der Mehrzahl von Merkmalen der Objekte.
Genauer gesagt, in den Schritten S175 und S230 passt die Steuerung 10 die Merkmale der erkannten Kanten an die Mehrzahl von Musterbildern an und erkennt wenigstens eines der Objekte basierend auf dem Ergebnis der Musteranpassung.
Bei der zweiten Abwandlung umfassen die Merkmale der erkannten Kanten Typen von Zeichen und Zustände von Signalen.
Die Spurerkennungsroutine gemäß 2 ist ein Beispiel einer Anzahl von Spurerkennungsroutinen und kann somit innerhalb des Umfangs der vorliegenden Erfindung modifiziert werden.

Claims

Programmprodukt, eingebettet in ein Medium, auf welches durch einen Computer einer Belichtungsbestimmungsvorrichtung für eine Bildaufnahmeeinheit zugreifbar ist, wobei das Programmprodukt aufweist: einen ersten Schritt des Anweisens an den Computer, ein erstes Bild zu erlangen, wobei das erste Bild von der Bildaufnahmeeinheit mit einer vorab bestimmten ersten Belichtung aufgenommen wird; einen zweiten Schritt des Anweisens an den Computer, eine Mehrzahl von Bereichen in dem ersten Bild zu entnehmen und eine Lichtintensität in jedem aus der Mehrzahl von Bereichen zu erkennen; einen dritten Schritt des Anweisens an den Computer, basierend auf der erkannten Lichtintensität und Dynamikbereich in jedem aus der Mehrzahl von Bereichen zu bestimmen, ob er ein Fehlanpassungsbereich ist, in welchem abschätzbar ist, dass eine Kante aufgrund entweder Überschuss oder Mangel der ersten Belichtung für einen entsprechenden der Bereiche unerkannt ist; und einen vierten Schritt des Anweisens an den Computer, eine zweite Belichtung der Bildaufnahmeeinheit zu bestimmen und ein zweites Bild mit der zweiten Belichtung aufzunehmen, wobei die zweite Belichtung an die Lichtintensität in dem einen Fehlanpassungsbereich angepasst ist, und ein Vermischen erkannter Kanten aus dem ersten Bild und derjenigen aus dem zweiten Bild durchzuführen, wobei der vierte Schritt nur dann ausgeführt wird, wenn bestimmt wird, dass wenigstens einer aus der Mehrzahl von Bereichen der eine Fehlanpassungsbereich ist.
Belichtungsbestimmungsvorrichtung für eine Bildaufnahmeeinheit, wobei die Vorrichtung aufweist: eine Bilderlangungseinheit, welche konfiguriert ist, den ersten Schritt gemäß Anspruch 1 durchzuführen; eine Lichtintensitätserkennungseinheit, welche konfiguriert ist, den zweiten Schritt gemäß Anspruch 1 durchzuführen; eine Fehlanpassungsbereichsbestimmungseinheit, welche konfiguriert ist, den dritten Schritt gemäß Anspruch 1 durchzuführen; und eine Zweitbelichtungsbestimmungseinheit, welche konfiguriert ist, den vierten Schritt gemäß Anspruch 1 durchzuführen.
Belichtungsbestimmungsvorrichtung nach Anspruch 2, wobei das erste Bild aufgebaut ist aus einer Mehrzahl von Pixeln, welche jeweils eine entsprechende Lichtintensität darstellen, wobei die Lichtintensitätserkennungseinheit einen Durchschnittswert aller Pixel aus der Mehrzahl von Bereichen in dem ersten Bild als die Lichtintensität in einem entsprechenden aus der Mehrzahl von Bereichen zu erkennen vermag.
Belichtungsbestimmungsvorrichtung nach Anspruch 2, wobei die Zweitbelichtungsbestimmungseinheit ausgelegt ist, um: eine korrekte Belichtung für jeden aus der Mehrzahl von Bereichen basierend auf der erkannten Lichtintensität in jedem aus der Mehrzahl von Bereichen zu berechnen; eine Differenz zwischen der korrekten Belichtung für jeden aus der Mehrzahl von Bereichen und der ersten Belichtung zu berechnen; und wenn bestimmt wird, dass einige aus der Mehrzahl von Bereichen die Fehlanpassungsbereiche sind, die zweite Belichtung der Bildaufnahmeeinheit zu bestimmen, wobei die zweite Belichtung an die Lichtintensität in wenigstens einem der Fehlanpassungsbereiche angepasst ist, wobei eine Differenz zwischen der korrekten Belichtung für den wenigstens einen der Fehlanpassungsbereiche und der ersten Belichtung unter den Differenzen zwischen der ersten Belichtung und jedem aus der Mehrzahl von Bereichen am größten ist.
Belichtungsbestimmungseinheit nach Anspruch 2, wobei die Bildaufnahmeeinheit ausgelegt ist, um zyklisch einen Satz des Aufnehmens des ersten Bilds mit der ersten Belichtung und des Aufnehmens eines zweiten Bilds mit der zweiten Belichtung durchzuführen, weiterhin mit: einer Erstbelichtungsbestimmungseinheit, welche die erste Belichtung in einem aktuellen Zyklus zu bestimmen vermag, basierend auf der Lichtintensität in jedem der Mehrzahl von Bereichen, welche in einem dem aktuellen Zyklus vorausgehenden Zyklus von der Lichtintensitätserkennungseinheit erkannt wurde.