DE102016121755A1

DE102016121755A1 - Verfahren zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung von Helligkeit und/oder Farbe, Kamerasystem sowie Krafzfahrzeug

Info

Publication number: DE102016121755A1
Application number: DE102016121755.7A
Authority: DE
Inventors: Vladimir Zlokolica; Brian Michael Thomas Deegan; Patrick Eoghan Denny
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2016-11-14
Filing date: 2016-11-14
Publication date: 2018-05-17
Also published as: WO2018087348A1

Abstract

Die Erfindung betrifft ein Verfahren zum Bestimmen eines zusammengesetzten Bilds (14) eines Umgebungsbereichs (9) eines Kraftfahrzeugs (1), bei welchem zumindest zwei Eingangsbilder (FV, RV, ML, MR) von jeweiligen Kameras (4a, 4b, 4c, 4d) des Kraftfahrzeugs (1) empfangen werden und aus den Eingangsbildern (FV, RV, ML, MR) das zusammengesetzte Bild (14) bestimmt wird, wobei zum Bestimmen des zusammengesetzten Bilds (14) eine Helligkeit und/oder eine Farbe zumindest eines der Eingangsbilder (FV, RV, ML, MR) angepasst wird, wobei Histogramme bestimmt werden, welche eine Luminanz und/oder eine Chrominanz der jeweiligen Eingangsbilder (FV, RV, ML, MR) beschreiben und die Helligkeit und/oder die Farbe des zumindest einen Eingangsbilds (FV, RV, ML, MR) anhand der Histogramme angepasst wird.

Description

Die Erfindung betrifft ein Verfahren zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs. Die Erfindung betrifft außerdem eine Bildverarbeitungseinrichtung, ein Kamerasystem für ein Kraftfahrzeug sowie ein Kraftfahrzeug.
Es ist bereits aus dem Stand der Technik bekannt, einen Umgebungsbereich eines Kraftfahrzeugs durch Aufnehmen des Umgebungsbereichs durch am Fahrzeug montierte Kameras eines Kamerasystems, beispielsweise eines Rundumsichtkamerasystems, und Anzeigen der durch die Kameras aufgenommenen Bilder auf einer Anzeigevorrichtung zu überwachen. Dabei werden zunehmend auch dreidimensionale Darstellungen des Umgebungsbereichs auf der Anzeigevorrichtung aus einer sogenannten Dritte-Person-Perspektive angezeigt. Eine solche Dritte-Person-Perspektive zeigt den Umgebungsbereich des Kraftfahrzeugs sowie das Kraftfahrzeug selbst aus der Sicht eines fahrzeugexternen Betrachters, einer sogenannten virtuellen Kamera. Eine solche Dritte-Person-Ansicht kann eine Draufsicht sein, in welcher der Betrachter von oben auf das Kraftfahrzeug herab blickt. Dieses Draufsichtbild kann auf der Anzeigevorrichtung dargestellt werden und zeigt eine Oberseite des Kraftfahrzeugs mit dem Fahrzeugdach sowie den das Kraftfahrzeug umgebenden Umgebungsbereich. Das Draufsichtbild kann durch Verzerren und Kombinieren von mehreren Eingangsbildern, die von den Kameras des Kamerasystems aufgenommen werden, erzeugt werden. Das Draufsichtbild erweckt den Eindruck, als ob es durch eine reale Kamera in einer Position der virtuellen Kamera aufgenommen worden wäre.
Ein Kamerasystem zum Bestimmen eines zusammengesetzten Bildes, und insbesondere eines Draufsichtbilds, umfasst eine Mehrzahl von Kameras. Die Kameras sind in der Regel an der Vorderseite des Kraftfahrzeugs, an der Rückseite des Kraftfahrzeugs und in den Bereichen der Seitenspiegel des Kraftfahrzeugs montiert. In vielen Implementierungen weist jede Kamera unabhängig Bildsignalverarbeitungskette auf. Daher können die Kameras eine unterschiedliche Belichtung- oder Verstärkungsregelung, einen unterschiedlichen Weißabgleich oder dergleichen, aufweisen. Da jede Kamera in verschiedene Richtungen gewandt ist und verschiedenen Bereichen der Fahrzeugumgebung sieht, werden die Helligkeits- und Farbwerte für jede Kamera leicht unterschiedlich sein. Diese geringfügigen Unterschiede in Farbe und Helligkeit wirken sich negativ auf die Illusion der virtuellen Kamera aus.
Die US 6 672 796 B2 beschreibt ein Bildaufnahmesystem zum gleichzeitigen Aufnehmen mehrere Bilder und diese zu einem für die Anzeige zu verschmelzen. Das System umfasst eine Bestimmungseinrichtung zur Bestimmung, ob die Bildqualität des zusammengeführten Bildes auf der Anzeigevorrichtung konsistent ist. Zudem umfasst das System Bildqualitätssteuermittel zum Steuern der eingestellten Bildqualitätsparameter der Bildaufnahmevorrichtungen, sodass die Bildqualität des zusammengeführten Bildes konsistent wird auf der Anzeigevorrichtung.
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie ein zusammengesetztes Bild auf Grundlage von Eingangsbildern von jeweiligen Kameras eines Kraftfahrzeugs einfacher und zuverlässiger bestimmt werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind Gegenstand der abhängigen Ansprüche.
Gemäß einer Ausführungsform eines Verfahrens zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs werden bevorzugt zumindest zwei Eingangsbilder von jeweiligen Kameras des Kraftfahrzeugs empfangen. Ferner wird aus den Eingangsbildern bevorzugt das zusammengesetzte Bild bestimmt, wobei zum Bestimmen des zusammengesetzten Bilds bevorzugt eine Helligkeit und/oder eine Farbe zumindest eines der Eingangsbilder angepasst wird. Darüber hinaus ist es bevorzugt vorgesehen, dass Histogramme bestimmt werden, welche eine Luminanz und/oder eine Chrominanz der jeweiligen Eingangsbilder beschreiben und die Helligkeit und/oder die Farbe des zumindest einen Eingangsbilds anhand der Histogramme angepasst wird.
Ein erfindungsgemäßes Verfahren dient zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs, bei welchem zumindest zwei Eingangsbilder von jeweiligen Kameras des Kraftfahrzeugs empfangen werden und aus dem Eingangsbild das zusammengesetzte Bild bestimmt wird, wobei zum Bestimmen des zusammengesetzten Bilds eine Helligkeit und/oder eine Farbe zumindest eines der Eingangsbilder angepasst wird. Ferner werden Histogramme bestimmt, welche eine Luminanz und/oder eine Chrominanz der jeweiligen Eingangsbilder beschreiben und die Helligkeit und/oder die Farbe des zumindest einen Eingangsbilds wird anhand der Histogramme angepasst.
Mithilfe des Verfahrens soll ein zusammengesetztes Bild bereitgestellt werden, welches einen Umgebungsbereich oder eine Umgebung des Kraftfahrzeugs zeigt. Dieses zusammengesetzte Bild wird aus mehreren Eingangsbildern erzeugt, welche mittels jeweiliger Kameras eines Kamerasystems des Kraftfahrzeugs bereitgestellt werden. Insbesondere wird als das zusammengesetzte Bild ein Draufsichtbild bereitgestellt, welches das Kraftfahrzeug aus einer Vogelperspektive zeigt. Das zusammengesetzte Bild kann ferner ein Abbild des Kraftfahrzeugs umfassen, welches das Kraftfahrzeug repräsentiert. Dieses zusammengesetzte Bild bzw. das Draufsichtbild kann dem Fahrer des Kraftfahrzeugs auf eine Anzeigeeinrichtung dargestellt werden. Auf diese Weise kann dem Fahrer beispielsweise der Umgebungsbereich um das Kraftfahrzeug herum dargestellt werden. Damit kann der Fahrer beim Führen des Kraftfahrzeugs unterstützt werden. Die jeweiligen Eingangsbilder, die mit den Kameras bereitgestellt werden, können an eine Bildverarbeitungseinheit übertragen werden, mittels welcher dann das zusammengesetzte Bild bestimmt werden kann. Die jeweiligen Eingangsbilder können bevorzugt Hochkontrastbilder (HDRI - High Dynamic Range Image) sein. Bei der Bereitstellung des zusammengesetzten Bilds ist es erforderlich, dass die Helligkeit und/oder die Farbe der Eingangsbilder aneinander angepasst wird.
Gemäß einem wesentlichen Aspekt der vorliegenden Erfindung ist es nun vorgesehen, dass von jedem der Eingangsbilder Histogramme bestimmt werden, welche eine Luminanz und/oder eine Chrominanz des jeweiligen Eingangsbilds beschreiben. Anhand der Histogramme, welche die Luminanz beschreiben, kann dann eine Anpassung der Helligkeit der Eingangsbilder durchgeführt werden. Auf Grundlage der Histogramme, welche die Chrominanz beschreiben, kann dann eine Anpassung der Farbe der jeweiligen Eingangsbilder durchgeführt werden. Die Anpassung der Helligkeit und/oder Farbe stellt eine Nachbearbeitung der Eingangsbilder dar, bei denen die jeweiligen Bildpunkte der Eingangsbilder gerendert werden können. Somit kann eine einfache und zuverlässige Anpassung der Helligkeit und/oder Farbe der Einzelbilder durchgeführt werden. Die Verwendung von Histogrammen bietet den Vorteil, dass der Rechenaufwand bei der Anpassung der Helligkeit und/oder Farbe deutlich reduziert werden kann. Die jeweiligen Histogramme, die von den Eingangsbildern bestimmt werden, stellen quasi eindimensionale Daten dar. Im Vergleich zu Verfahren, bei denen zweidimensionale Bilddaten der Eingangsbilder aneinander angepasst werden, kann somit die Effektivität deutlich gesteigert werden.
Bevorzugt werden anhand der Histogramme jeweilige Korrekturwerte für die Komponenten Y, U und/oder V in einem YUV-Farbraum des zumindest einen Eingangsbilds bestimmt und ein Eingangsbild, welches zu einem späteren Zeitpunkt empfangen wird, wird anhand der jeweiligen Korrekturwerte korrigiert. Für jedes der Eingangsbilder können Histogramme bestimmt werden, welche die Y, U und/oder die V Komponente des jeweiligen Eingangsbilds beschreiben. Anhand eines Vergleichs der jeweiligen Komponenten Y, U und/oder V der jeweiligen Eingangsbilder können dann die Korrekturwerte bestimmt werden. Es kann ferner vorgesehen sein, dass auf Grundlage der Korrekturwerte eine Dynamikkompression (Tone Mapping) durchgeführt wird. Insbesondere ist es vorgesehen, dass auf Grundlage der Korrekturwerte entsprechende Dynamikkompression-Tabellen bestimmt werden. Dabei werden die Korrekturwerte bzw. die Dynamikkompression-Tabellen zu einem ersten Zeitpunkt bestimmt. Zu einem zweiten Zeitpunkt, der auf den ersten Zeitpunkt folgt, werden dann die jeweiligen Eingangsbilder auf Grundlage der Korrekturwerte korrigiert. Somit kann eine Anpassung der Helligkeit und/oder Farbe in dem aufeinanderfolgenden Eingangsbildern durchgeführt werden.
Gemäß einer Ausführungsform werden in den jeweiligen Eingangsbildern zumindest zwei Regionen von Interesse bestimmt und die Histogramme werden für die jeweiligen Regionen von Interesse bestimmt. Die jeweiligen Eingangsbilder können also in Regionen von Interesse eingeteilt werden. Damit wird es ermöglicht, dass die Helligkeit und/oder Farbe der jeweiligen Regionen von Interesse aneinander angepasst werden kann. Auf diese Weise können für jede Region von Interesse Histogramme bestimmt werden, welche die Helligkeit und/oder die Farbe in der Region von Interesse beschreiben. Somit wird es auf einfache Weise möglich benachbarte Regionen von Interesse bezüglich der Helligkeit und/oder Farbe aneinander anzupassen.
Bevorzugt ist es vorgesehen, dass die Histogramme in Abhängigkeit von Eingangsparametern der jeweiligen Kameras bestimmt werden. Beispielsweise können die Histogramme auf Grundlage einer Gammakorrektur der jeweiligen Kameras angepasst werden. Somit können die Histogramme an die jeweiligen Kameraeinstellungen angepasst werden. Dies ermöglicht eine zuverlässige Anpassung der Helligkeit und/oder der Farbe der Eingangsbilder zueinander.
Weiterhin ist es vorteilhaft, wenn ein Überlappungsbereich bestimmt wird, in welchem sich die zumindest zwei Eingangsbilder beim Bestimmen des zusammengesetzten Bilds zumindest bereichsweise überlagern und die Histogramme für die jeweiligen Eingangsbilder in Abhängigkeit von dem Überlappungsbereich bestimmt werden. Die Überlappungsbereiche beschreiben diejenigen Bereiche der jeweiligen Eingangsbilder, welche den gleichen Bereich in der Umgebung des Kraftfahrzeugs abbilden. Dabei ist es insbesondere vorgesehen, dass das Histogramm für das jeweilige Eingangsbild in Abhängigkeit von dem Überlappungsbereich segmentiert wird und die Segmente der Histogramme der jeweiligen Eingangsbilder, welche zu dem Überlappungsbereich gehören, gewichtet werden. Die jeweiligen Histogramme der Eingangsbilder können also segmentiert bzw. aufgeteilt werden. Somit können die Segmente der Histogramme der jeweiligen Eingangsbilder, die zu dem Überlappungsbereich gehören, aneinander angepasst werden. Dies kann durch die Bestimmung eines entsprechenden Gewichtungswerts für die Segmente der Histogramme erfolgen. Dabei ist zu berücksichtigen, dass die Helligkeit und/oder die Farbe der Eingangsbilder so angepasst wird, dass diese in den Überlappungsbereich übereinstimmt.
Gemäß einer weiteren Ausführungsform wird eine Mehrzahl von Eingangsbildern empfangen, anhand der Histogramme werden Luminanz-Werte für jedes der Eingangsbilder bestimmt und ein jeweiliger Unterschied zwischen dem Luminanz-Werten wird bestimmt. Auf Grundlage der Histogramme, die für die jeweiligen Eingangsbilder bestimmt werden, können dann Schätzwerte für die Luminanz der jeweiligen Eingangsbilder bestimmt werden. Dabei kann insbesondere das Histogramm der Komponente Y der jeweiligen Eingangsbilder ermittelt werden. Die jeweiligen Luminanz-Werte die auf Grundlage der Histogramme für die jeweiligen Eingangsbilder bestimmt wurden, können dann miteinander verglichen werden. Auf Grundlage der Unterschiede der Luminanz-Werte kann dann die Anpassung der Helligkeit der Eingangsbilder erfolgen. Dabei ist es insbesondere vorgesehen, dass die Eingangsbilder nur minimal angeglichen werden. Wenn während der Bestimmung des zusammengesetzten Bildes die Anpassung einzelner Eingangsbilder zu groß ist, kann dies zu ungewünschten Nebeneffekten führen. Wenn beispielsweise ein Eingangsbild einen hohen Helligkeitswert aber eine niedrige durchschnittlich Helligkeit aufweist und dieses Eingangsbild zu den anderen Eingangsbildern angepasst werden soll, kann die durchschnittliche Helligkeit erhöht werden. Dies kann beispielsweise zu einer Sättigung von helleren Bereichen des Eingangsbilds führen. Ferner können die Textur und Farbanpassungen negativ beeinflusst werden.
Weiterhin ist es vorteilhaft, wenn eines der Eingangsbilder, ausgehend von dem die Anpassung der Helligkeit der Eingangsbilder gestartet wird, und/oder eine Reihenfolge der Eingangsbilder, entlang welcher die Anpassung der Helligkeit der Eingangsbilder durchgeführt wird, anhand der jeweiligen Unterschiede bestimmt wird. Wie bereits erläutert, können Unterschiede zwischen den Luminanz-Werten der jeweiligen Eingangsbilder bestimmt werden. Beispielsweise kann das Eingangsbild, welches zu den anderen Eingangsbildern den größten Unterschied bezüglich des Luminanz-Werts aufweist, als sogenanntes Master-Bild oder Master-Kamera verwendet werden. Ausgehend von dieser Master-Kamera kann dann die Anpassung der Helligkeit gestartet werden. Dabei kann für die Anpassung der Helligkeit eine vorbestimmte Richtung bzw. Reihenfolge der Eingangsbilder vorgesehen sein. Wenn als das zusammengesetzte Bild ein Draufsichtbild bereitgestellt wird, kann die Reihenfolge entlang eines Kreises oder einer geschlossenen Bahn erfolgen. Auch hier kann die Richtung in Abhängigkeit von den jeweiligen Unterschieden zwischen den Luminanz-Werten bestimmt werden. Grundsätzlich kann die Farbanpassung auch derart durchgeführt werden, dass diese von jedem der Eingangsbilder gestartet wird. Dies ermöglicht eine zuverlässige Anpassung der Farbe.
Gemäß einer weiteren Ausführungsform werden die jeweiligen Unterschiede in zwei verschiedenen Reihenfolgen entlang der Eingangsbilder für jedes der Eingangsbilder bestimmt und ein Korrekturwert für das zumindest eine Eingangsbild wird anhand der jeweiligen Unterschiede bestimmt. Die Helligkeitskorrektur kann für den Fall bestimmt werden, dass jede Kamera eine Master-Kamera ist. Wie bereits erläutert, kann ein Eingangsbild ausgewählt werden, ausgehend von dem die Bestimmung der jeweiligen Unterschiede gestartet wird. Dabei ist es insbesondere vorgesehen, dass die Bestimmung der jeweiligen Unterschiede ausgehend von jedem der Eingangsbilder bestimmt wird. Für jedes Eingangsbild können die Unterschiede zwischen den Luminanz-Werten in zwei verschiedenen Richtungen bestimmt werden. Die jeweiligen Unterschiede, die für jede Richtung bestimmt werden, können dann gewichtet werden. Wenn vier Eingangsbilder empfangen werden, kann die Helligkeitskorrektur für jedes der Eingangsbilder im Uhrzeigersinn und im Gegenuhrzeigersinn berechnet werden. In diesem Fall können acht verschiedene Helligkeitskorrekturwerte für jede Master-Kamera oder jedes Eingangsbild bestimmt werden. Danach kann ein gewichteter Mittelwert der Helligkeitskorrekturwerte berechnet werden, um den endgültigen Korrekturwert zu bestimmen. Damit können die Helligkeitskorrekturwerte für die jeweiligen Eingangsbilder präzise bestimmt werden.
Gemäß einer weiteren Ausgestaltung werden zumindest vier Eingangsbilder empfangen und als das zusammengesetzte Bild wird ein Draufsichtbild bestimmt. Dies kann beispielsweise mit einem Kamerasystem erfolgen, welches zumindest vier Kameras aufweist. Dabei kann eine Kamera an einer Front des Kraftfahrzeugs angeordnet sein, eine Kamera kann in einem Heck des Kraftfahrzeugs angeordnet sein und zwei Kameras können in Bereichen der Seitenspiegel des Kraftfahrzeugs angeordnet sein. Diese vier Eingangsbilder können dann zu dem Draufsichtbild zusammengesetzt werden, wobei zusätzlich ein Abbild des Kraftfahrzeugs dargestellt werden kann. Auf diese Weise kann das Kraftfahrzeug aus der Vogelperspektive dargestellt werden.
Gemäß einer weiteren Ausführungsform wird für jedes Eingangsbild ein absoluter Korrekturwert für die Farbe abgeschätzt, ein relativer Korrekturwert für die Farbe wird für jeweilige Überlappungsbereiche der Eingangsbilder anhand der absoluten Korrekturwerte bestimmt und die Anpassung der Farbe wird anhand der absoluten und relativen Korrekturwerte durchgeführt wird. Für jedes Eingangsbild oder jede Region von Interesse kann ein Farbton unabhängig abgeschätzt werden. Diese absolute Farbkorrektur kann auf mittlere Farbschätzungen in jeder Region von Interesse innerhalb des Überlappungsbereichs angewendet werden. Die Überlappungsbereiche können den Ecken des Draufsichtbilds zugeordnet sein. Die korrigierten Farbtonwerte können verwendet werden, um zu bestimmen, ob der absoluten Farbkorrektur eine relative Farbkorrektur hinzugefügt werden soll. Auf diese Weise kann die verbleibende relative Farbkorrektur, die auch nach Anwendung der absoluten Farbkorrektur auftreten würde, simuliert oder abgeschätzt werden. Dies kann auch als Hufeisen-Ansatz bezeichnet werden. Daher kann, selbst wenn der reale Farbton nicht abgeschätzt werden kann, die Farbe in dem zusammengesetzten Bild harmonisiert werden, so dass ein Mensch die Unterschiede von einem Eingangsbild zu einem anderen nicht sehen kann.
Zudem ist es vorteilhaft, wenn die Anpassung der Farbe anhand von zweidimensionalen Gaußschen Kurven durchgeführt wird, welche einen Farbstich beschreiben. Die Histogramme können zunächst gewichtet werden. Dabei kann die Gewichtung auf Grundlage einer Gaußschen Kurve durchgeführt werden. Insbesondere ist es vorgesehen, dass eine Mehrzahl von zweidimensionalen Gaußsche Kurven verwendet wird, welche jeweilige Farbstiche in einem U-V-Raum beschreiben. Insbesondere werden diejenigen zweidimensionalen Kurven berücksichtigt, die einen Gelbstich und/oder einen Blaustich beschreiben. Dabei wird berücksichtigt, dass sich ein Farbstich in den Bildern üblicherweise als Gelbstich oder als Blaustich auswirkt. Somit kann eine zuverlässige und einfache Anpassung der Farbe ermöglicht werden.
Gemäß einer weiteren Ausgestaltung wird für die Anpassung der Helligkeit und/oder der Farbe des zumindest einen Eingangsbilds eine Helligkeit und/oder Farbe einer Fahrbahnoberfläche in dem Umgebungsbereich des Kraftfahrzeugs bestimmt und als Referenz verwendet. Die Fahrbahnoberfläche in der Umgebung des Kraftfahrzeugs bzw. die Fahrbahnoberfläche, auf welcher sich das Kraftfahrzeug befindet, weist üblicherweise eine graue Farbe auf. Diese graue Farbe wird als Referenz verwendet. Wenn diese graue Farbe der Fahrbahn als Referenz verwendet wird, können Farbstiche zuverlässig erkannt werden.
Die Erfindung betrifft außerdem eine Bildverarbeitungseinrichtung für ein Kamerasystem eines Kraftfahrzeugs, welche dazu ausgelegt ist, ein erfindungsgemäßes Verfahren oder eine Ausführungsform davon durchzuführen. Die Bildverarbeitungseinrichtung kann beispielsweise in ein fahrzeugseitiges Steuergerät integriert sein.
Ein erfindungsgemäßes Kamerasystem für ein Kraftfahrzeug umfasst zumindest eine Kamera zum Erfassen zumindest eines Eingangsbildes und eine erfindungsgemäße Bildverarbeitungseinrichtung. Insbesondere weist das Kamerasystem zumindest vier, ein Rundumsichtkamerasystem bildende Kameras auf, wobei die Bildverarbeitungseinrichtung dazu ausgebildet ist, das Draufsichtbild basierend auf den Eingangsbildern des Rundumsichtkamerasystems zu generieren. Außerdem kann das Kamerasystem eine Anzeigeeinrichtung zum Anzeigen des Draufsichtbildes aufweisen.
Die Erfindung betrifft außerdem ein Kraftfahrzeug mit einem erfindungsgemäßen Kamerasystem. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet. Die Kameras sind dabei insbesondere verteilt am Kraftfahrzeug angeordnet, sodass der Umgebungsbereich rund um das Kraftfahrzeug überwacht werden kann.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Dabei zeigen:

1 ein Kraftfahrzeug gemäß einer Ausführungsform der Erfindung, welches ein Kamerasystem aufweist;
2 ein Draufsichtbild, welches mit dem Kamerasystem bereitgestellt wird;
3 Eingangsbilder, welche mit Kameras des Kamerasystem bereitgestellt werden und welche in Regionen von Interesse eingeteilt sind;
4 ein schematisches Ablaufdiagramm eines Verfahrens zum Bestimmen eines Draufsichtbilds;
5 das Draufsichtbild, welches aus den Eingangsbildern zusammengesetzt ist.
6 Histogramm-Werte eines Histogramms eines Eingangsbilds;
7 das Draufsichtbild gemäß einer weiteren Ausführungsform;
8 ein Draufsichtbild, bei welchem die Helligkeit der Eingangsbilder angepasst ist;
9, 10 Bereiche des Draufsichtbilds, bei denen die Farbe angepasst wird; und
11 Regionen von Interesse in einem U-V-Raum zur Anpassung eines Farbstichs der Eingangsbilder.

In den Figuren werden gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
1 zeigt ein Kraftfahrzeug 1 gemäß einer Ausführungsform der vorliegenden Erfindung in einer Draufsicht. Das Kraftfahrzeug 1 ist vorliegend als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein Kamerasystem 2, welches ein elektronisches Steuergerät 3 umfasst. Darüber hinaus umfasst das Kamerasystem 2 eine Mehrzahl von Kameras 4a, 4b, 4c und 4d.
Hierbei umfasst das Kamerasystem 2 vier am Kraftfahrzeug 1 montierte Kameras 4a, 4b, 4c, 4d. Eine erste Kamera 4a ist in einem Frontbereich 7 des Kraftfahrzeugs 1 befestigt und dient zum Aufnehmen von Eingangsbildern FV, die den Umgebungsbereich 9 vor dem Kraftfahrzeug 1 zeigen. Eine zweite Kamera 4b ist in einem Heckbereich 5 des Kraftfahrzeugs 1 befestigt und dient zum Aufnehmen von Eingangsbildern RV, die den Umgebungsbereich 9 hinter dem Kraftfahrzeug 1 zeigen. Eine dritte Kamera 4c ist an einer linken Seite 8 des Kraftfahrzeugs 1 befestigt und dient zum Aufnehmen von Eingangsbildern ML, die den Umgebungsbereich 9 links neben dem Kraftfahrzeug 1 zeigen, und eine vierte Kamera 4d ist auf einer rechten Seite 6 des Kraftfahrzeugs 1 befestigt und dient zum Aufnehmen von Eingangsbildern MR, die den Umgebungsbereich 9 rechts neben dem Kraftfahrzeug 1 zeigen. Die Kameras 4a, 4b, 4c, 4d können Fischaugen-Objektive aufweisen, um ein Sichtfeld der Kameras 4a, 4b, 4c, 4d zu vergrößern. Die Eingangsbilder FV, RV, ML und MR oder Eingangsvideoeinzelbilder, die durch die Kameras 4a, 4b, 4c, 4d aufgenommen werden, können auf einer Anzeigevorrichtung 10 des Kamerasystems 2 in Form eines Videos angezeigt werden. Die von den Kameras 4a, 4b, 4c, 4d des Kamerasystems 2 erfassten Eingangsbilder FV, RV, ML und MR können, z.B. von der Steuereinrichtung 3 des Kamerasystems 3, verzerrt und kombiniert werden, um ein Draufsichtbild 11 des Kraftfahrzeugs 1 und des Umgebungsbereiches 9 rund um das Kraftfahrzeug 1 zu bestimmen.
2 zeigt ein aus Eingangsbildern FV, RV, ML und MR des Kamerasystems 2 erzeugtes Draufsichtbild 11. Das Draufsichtbild 11 ist ein zusammengesetztes Bild 14, welches aus den Eingangsbildern FV, RV, ML und MR bestimmt wird. Das Draufsichtbild 11 kann auf einer Anzeigevorrichtung 10 angezeigt werden. Im Draufsichtbild 11 ist der Umgebungsbereich 9 aus der Perspektive eines Betrachters über dem Kraftfahrzeug 1, der nach unten auf das Kraftfahrzeug 1 blickt, gezeigt. Das Draufsichtbild 11 vermittelt den Eindruck, dass es durch eine Kamera, eine sogenannte virtuelle Kamera, aufgenommen ist, die über dem Kraftfahrzeug 1 angeordnet ist. Da das Kraftfahrzeug 1 selbst nicht durch die Kameras 4a, 4b, 4c, 4d des Kamerasystems 2 erfasst werden kann, wird ein Modell 12 des Kraftfahrzeugs 1 in das Draufsichtbild 11 eingefügt. In diesem Draufsichtbild 11 sind die Eingangsbilder FV, RV, ML und MR nicht in Bezug auf Helligkeit und Farbe aufeinander abgestimmt. Wie in 2 zu erkennen ist, ist das Eingangsbild FV von der Front-Kamera 4a und somit ein Bereich 13 in dem Draufsichtbild 11 viel dunkler als die anderen Teile der Draufsichtbilds 11 (vorliegend durch eine Schraffur dargestellt).
Bei der Breitstellung des Draufsichtbilds 11 sollen die Eingangsbilder FV, RV, ML und MR in Bezug auf Helligkeit und Farbe aufeinander abgestimmt werden. Hierzu werden die Eingangsbilder FV, RV, ML und MR in jeweilige Regionen von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2 und MR3 eingeteilt. Dies ist in 3 dargestellt. Hier ist zu erkennen, dass das Eingangsbild FV in die Regionen von Interesse FV0 und FV2 eingeteilt ist. Das Eingangsbild RV ist in die Regionen von Interesse RV0 und RV2 eingeteilt. Ferner ist das Eingangsbild ML in die Regionen von Interesse ML0, ML1, ML2 und ML3 eingeteilt. Schließlich ist das Eingangsbild MR in die Regionen von Interesse MR0, MR1, MR2 und MR3 eingeteilt. Dabei ergeben sich Überlappungsbereiche 17 zwischen den Regionen von Interesse ML0 und FV0, zwischen den Regionen von Interesse FV2 und MR0, zwischen den Regionen von Interesse RV2 und MR3 sowie zwischen den Regionen von Interesse ML3 und RV0.
4 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zum Bereitstellen des Draufsichtbilds 11. In einem Schritt S1 werden für die Regionen von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2 und MR3 die Komponenten Y, U und V in dem YUV-Farbraum bestimmt. Ferner werden Histogramme für die Komponenten Y, U und V bestimmt. Die Histogramme werden in einem Schritt S2 einem Harmonisierungsalgorithmus zugeführt. Um die Eingangsbilder FV, RV, ML, MR zu harmonisieren, werden die Statistiken aus den Regionen von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 als Eingabe für den Harmonisierungsalgorithmus verwendet. Hier werden die Histogramme für die Komponenten Y, U und V für jede der vier Kameras 4a, 4b, 4c, 4d und deren Regionen von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2 und MR3 berechnet. Die Statistiken der Regionen von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 werden in einer Form von drei Histogrammen berechnet, entsprechend ihrer Y-, U- und V-Werte. Die Histogramm-Darstellung bietet eine deutlich höhere Flexibilität in Bezug auf die Bildsegmentierung und Nachbearbeitungsvorgänge, statt die gesamte Region mit einem einzigen Wert, beispielsweise dem Mittelwert, zu beschreiben. Der Harmonisierungsalgorithmus verwendet die berechneten Histogramme als Eingabe und erzeugt Korrekturwerte für jede Kamera 4a, 4b, 4c, 4d und jeden Y-, U- und V-Kanal auf deren Grundlage Tabellen für die Dynamikkompression (Tone-Mapping) bestimmt werden (Schritt S3). Die bestimmten Tabellen für die Dynamikkompression werden dann in der nächsten zeitlichen Instanz t+1 für die Dynamikkompression angewendet (Schritt S4). Somit können die in einem Schritt S5 bestimmten Eingangsbilder FV, RV, ML, MR bearbeitet werden.
Für die Schätzung der Helligkeit und des Farbstichs werden die Werte für die Histogramme Komponenten Y, U und V quantisiert, um die große Anzahl der Werte zu reduzieren und Beiträge von Histogramm-Werten, die relativ selten auftreten, zu entfernen. Die Quantisierung kann durch einfache Division der Histogramm-Werte mit einen konstanten Wert, der im Allgemeinen unterschiedlich für die Komponenten Y, U und V sein kann, erfolgen. Die Stärke der Quantisierung der Histogramme kann als Abstimmungsparameter für einen bestimmten Fall oder spezielle Einstellungen eines Kamerabilds verwendet werden. Ein Beispiel für die Quantisierung der Histogramme ist die Verbesserung der Stabilität der Histogramm-basierten Schätzung der Helligkeit und des Farbstichs. In Abhängigkeit von den Kameraeinstellungen werden sich die YUV-Histogramme anders über die Eingabebilder FV, RV, ML, MR verteilen und Änderung von Bild zu Bild aufweisen. Nach der Histogramm-Quantisierung kann eine einfache Glättung der Histogramme durch benachbarte Histogramm-Bins mit einem IIR-Filterkern angewendet werden. Dies kann in einigen Fällen notwendig sein, wenn das Histogramm deutlich von Bild zu Bild oszilliert, obwohl die 3D-Szene gleich ist. Dies kann der Fall sein, wenn sich das Kraftfahrzeug 1 bewegt.
Im Folgenden werden die Helligkeitsanpassung und Farbkorrektur getrennt voneinander beschrieben.
Für die Helligkeitsanpassung werden die Eingangs-Histogramme der Komponente Y für die Regionen von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 zunächst mit einer bestimmten Übertragungsfunktion für das jeweilige Kamerabild vor der Quantisierung der Histogramme umgewandelt. Diese Histogramm-Transformation wird verwendet, um die Form der Histogramme gemäß Kameraparametern oder anderen Eingabestatistiken und/oder -parameter zu modifizieren. In der vorgeschlagenen Implementierung werden Gamma-Korrekturwerte von den Kamera-Registern verwendet, um eine Gamma-unkorrigierte Übertragungskurve zu definieren, die auf die Eingangs-Histogramme angewendet werden kann. Danach wird eine gewichtete Integration der Histogramme innerhalb von Grenzen, die durch spezifische Parameter definiert sind, durchgeführt. Durch die Gewichtung bestimmter Histogramm-Bins kann bestimmten Luminanz-Werten oder Luma-Werten eine höhere Bedeutung zugewiesen werden. Beispielsweise können Histogramm-Bins, die am wahrscheinlichsten der Straßenoberfläche entsprechen, die als Referenz verwendet wird, gewichtet werden. Durch die Einführung von unteren und oberen Grenzen für die Histogramm-Segmentierung kann der Einfluss bestimmter Histogramm-Teile, die nicht als auf die Helligkeit bezogen angenommen werden, vollständig abgeschnitten werden. Dazu gehören Fußgänger, welche weiße Linien überqueren, schwarze Objekte, z.B. ein neben dem Kraftfahrzeug 1 geparktes dunkles Fahrzeug, oder dergleichen.
Die gewichtete und gebundene Histogramm-Integration wird verwendet, um erste Schätzungen für die Luminanz der einzelnen Regionen von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 zu erzeugen. Diese ersten Schätzungen für die Luminanz liefern Informationen von groben Helligkeitsstufen, welche dem Kamerabild entspricht. Es gibt zwei Hauptoptionen oder Systeme für die Schätzung der Luminanz: ein Ansatz, welcher nicht auf Segmentierung basiert, und ein Ansatz, welcher auf Histogramm-Segmentierung basiert.
Bei dem Ansatz, welcher nicht auf Segmentierung basiert, werden die Histogramm-Werte als gewichteter Durchschnitt der Histogramm-Werte zwischen einem Minimalwert und einem Maximalwert berechnet. Diese Werte hängen von Kameraeinstellungen, wie den Hochkontrastbildern, der Gammakorrektur, der Schärfe oder dergleichen, ab. Zusätzlich kann eine Gewichtung jedes Histogramm-Binwerts auf zwei mögliche Weisen bestimmt werden: Zum einen kann Gewichtung mittels einer Gaußsche Kurve verwendet werden, welche um einen häufigsten Luminanz-Wert zentriert ist. Dabei kann die Breite und die Steigung unter Verwendung einer Standardabweichung angepasst werden. Zum anderen kann die Gewichtung unter Verwendung von Histogramm-Werten durchgeführt werden, welche experimentell bestimmt werden. Diese Histogramm-Werte können in Abhängigkeit von der Quantisierung der Histogramme, die vor diesem Schritt durchgeführt wird, oder geänderten Kameraeinstellungen eingestellt werden.
Bevorzugt wird der Ansatz, welcher auf Histogramm-Segmentierung basiert, verwendet. Die Hauptidee in dem Ansatz, welcher auf Histogramm-Segmentierung basiert, ist es, die Leuchtdichten-Histogramme für jeden der Überlappungsbereiche in den Regionen von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 zu bestimmen. Die Überlappungen der Regionen von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 sind in 5 dargestellt. Der Hauptgrund für die Einführung der Histogramm-Segmentierung ist es, den Einfluss der umgebenden Objekte zu reduzieren, die nicht der Straßenoberfläche entsprechen. Die Straßenoberfläche wird als Bezugsmerkmal für die Überlappungsbereiche angenommen. Wie erkannt werden kann, überlappen sich die Überlappungsbereiche nicht vollständig, sondern es gibt gewisse Teile, die unterschiedlich sind, beispielsweise ML0 und FV0. Daher ist es wichtig, die Histogramme zu segmentieren und bestimmte Teile gewichten, um die endgültigen Luminanz-Schätzungen zu erhalten, die verglichen werden können. Basierend auf diesem Vergleich, kann die Helligkeitskorrektur für jedes Eingangsbild FV, RV, ML, MR bestimmt werden.
Im vorliegenden Fall wird eine bi-modale Histogramm-Segmentierung verwendet, welche im Zusammenhang mit 6 erläutert wird. Dies bedeutet, dass das Histogramm nur in zwei Regionen segmentiert ist. Dies wird vor allem aus Gründen der Einfachheit gemacht, was in der Praxis ausreichend genaue und robuste Ergebnisse liefert. Zunächst wird ein Mittelwert Hm für jede Region von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 als gewichteter Mittelwert des Histogramms bestimmt. Dann werden ein erster Histogramm-Wert H1 und ein zweiter Histogramm-Wert H2 für jede Region von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 bestimmt. Der Mittelwert Hm wird als Schwellenwert verwendet, um den ersten und den zweiten Histogramm-Wert H1, H2 zu schätzen. Der erste Histogramm-Wert H1 und der zweite Histogramm-Wert H2 beschreiben die Luminaz von den verschiedenen Teilen der Region von Interesse FV 0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3. Zum Beispiel kann der erste Histogramm-Wert H1 die Luminanz im linken Teil der Region von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 beschreiben und der zweite Histogramm-Wert H2 kann die Leuchtdichte im rechten Teil der Region von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 beschreiben.
Basierend auf dem ersten Histogramm-Wert H1 und dem zweiten Histogramm-Wert H2 wird ein Gewichtungskoeffizient wC zur Berechnung des endgültigen Schätzwerts der Helligkeit Y_est für jede Region von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 bestimmt: $Y_{est} = ((m - wC) * H 2 + wC * H 1) /m,$
wobei m ein konstanter Multiplikationsparameter ist, der die Genauigkeit des Gewichtungskoeffizienten wC definiert. Um die Gewichtungskoeffizienten wC für jede Region von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 zu bestimmen, werden ein niedriger und ein hoher Gewichtungswert, die dem ersten und zweiten Histogramm-Wert H1, H2 entsprechen, bestimmt. Es ist wichtig zu beachten, dass die zwei überlappenden Regionen von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 die gleichen resultierenden Gewichtungskoeffizienten wC aufweisen. Auf diese Weise werden die Histogramm-Werte, die einander angepasst werden sollen, in der gleichen Weise gewichtet.
Ein Überlappungsbereich 17 der Regionen von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 ergibt sich beispielsweise in der linken oberen Ecke des Draufsichtbilds 11. Dort überlappen sich die Regionen von Interesse FV0 und ML0. Hier wird das Minimum des ersten Histogramm-Werts H1 aus den beiden Regionen von Interesse FV0 und ML0 bestimmt. Basierend auf dem Minimum der niedrigere Gewichtungswert bestimmt. In gleicher Weise wird der höhere Gewichtungswert bestimmt. Für die Berechnung des unteren Gewichtungswerts wird ein Schwarzpegel als Referenz verwendet und für die Berechnung des höheren Gewichtungswerts wird ein Weißpegel als Referenz verwendet. Der Schwarzpegel und der Weißpegel sind Schwellen, welche schwarzen und weißen Objekte entsprechen. Daher kann ein Faktor verwendet werden, um die niedrigen und den höheren Gewichtungswert zu bestimmen. Darüber hinaus kann eine Normalisierungsfunktion durchgeführt werden, um basierend auf den berechneten niedrigen und hohen Gewichtungswerten den Gewichtungskoeffizienten zu erhalten. Auf diese Weise sind sowohl der Abstand des ersten Histogramm-Werts H1 zu dem Schwarzpegel als auch der Abstand des zweiten Histogramm-Werts H2 zum Weißpegel berücksichtigt. Zusätzlich wird, um Oszillationen der Gewichtungskoeffizienten von einem Bild zu einem anderen zu vermeiden, als letzter Schritt eine rekursive zeitliche Filterung der Gewichtungskoeffizienten angewendet.
Neben der gewichteten Mittelung der Histogramme wird eine zeitliche Filterung der Luminanz-Schätzwerte durchgeführt. Dies dient wiederum dazu, die Robustheit gegenüber kleinen Schwankungen von Bild zu Bild sicherzustellen, welche in einigen besonderen Fällen eine reduzierte Leistung des Algorithmus und damit lästige visuelle Artefakte verursachen können. Ausgehend von diesem Punkt können die Luminanz-Schätzwerte als eine Eingabe für einen Algorithmus zur Harmonisierung der Helligkeit verwendet werden, welcher den Anteil der Helligkeitskorrektur bestimmt, welche auf jedes Eingangsbild FV, RV, ML, MR angewandt wird. Die Hauptidee in dem Ansatz für den Helligkeitsausgleich ist es, für die Harmonisierung der geschätzten Helligkeitswerte zwischen den verschiedenen Regionen von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 überlappende Bereiche zu verwenden. Im vorliegenden Fall sind die überlappenden Bereiche den vier Ecken des Draufsichtbilds 11 angeordnet. Es gibt eine Überlappung zwischen den Eingangsbildern FV und ML, zwischen den Eingangsbildern FV und MR, zwischen den Eingangsbildern RV und ML sowie zwischen den Eingangsbildern RV und MR.
Um die Anpassungsfehler bezüglich der Helligkeit zwischen zwei benachbarten Eingangsbildern FV, RV, ML, MR zu ermitteln, werden die jeweiligen Differenzen zwischen den Paaren von Eingangsbildern FV, RV, ML, MR bestimmt. Auf diese Weise kann die Differenz zwischen den überlappenden Eingangsbildern FV, RV, ML, MR in den Ecken bestimmt werden. Darüber hinaus ist die Differenz zwischen allen Paaren von Eingangsbildern FV, RV, ML, MR bestimmt werden, um den Anpassungsfehler für die Kameras 4a, 4b, 4c, 4d vorzusehen. Auf diese Weise kann die „schlechte“ Kamera bestimmt werden, welche als diejenige betrachtet wird, welche dem maximalen paarweisen Anpassungsfehler entspricht. Diese Kamera kann auch als Master-Kamera bezeichnet werden. Dies kann folglich als Indikator verwendet werden, von welchem Eingangsbild FV, RV, ML, MR die Helligkeitskorrektur entlang einer vorbestimmten Richtung beginnen soll. Diese vorbestimmte Richtung kann sich entlang eines Kreises erstrecken. Er kann ferner entschieden werden, ob die Richtung im Uhrzeigersinn oder gegen den Uhrzeigersinn durchlaufen wird. Dies ist durch die Pfeile 16 und 16' in 6 veranschaulicht.
Die zwei wichtigen Entscheidungen, nämlich die Bestimmung der Master-Kamera und der Korrekturrichtung, kann von Bild zu Bild variieren. In der Regel wird diese binäre Art der Entscheidung für die Auswahl der Master-Kamera und Korrekturrichtung nicht zuverlässig genug sein und Instabilität in der letzten Algorithmus-Ausgabe erzeugen. Folglich können die Korrekturwerte für alle möglichen Master-Kameras und Korrekturrichtungen berechnet werden. Danach kann eine gewichtete Mittelung durchgeführt werden, um die endgültigen Helligkeitskorrekturwerte zu bestimmen. Die berechneten Differenzwerte werden dann dazu verwendet, Dynamikkompressions-Tabellen für jedes Eingangsbild FV, RV, ML, MR innerhalb der Render-Prozesses zu verwenden. Diese Werte werden zusätzlich zeitlich rekursiv gemittelt, um die endgültigen Helligkeitskorrekturwerte zu erhalten. Eine Transferkurve für die Dynamikkompression kann eine lineare Kurve sein, die nach oben und unten verschoben wird. Weiterhin kann eine Kurve zur Gammakorrektur in der Tabelle enthalten sein, so dass die endgültigen Luminanz-Werte an die Anzeigeeinrichtung 10 angepasst werden.
8 zeigt ein Draufsichtbild 11, bei welchem die Helligkeit der Eingangsbilder FV, RV, ML, MR angepasst wurde. Im Vergleich zu 2 ist deutlich zu erkennen, dass das Draufsichtbild 11 eine gleichmäßige Helligkeit aufweist.
Im Folgenden wird die Farbkorrektur der Eingangsbilder FV, RV, ML, MR erläutert. Ähnlich wie im Fall der Helligkeitskorrektur ist es das Ziel des Farbkorrektur-Algorithmus Korrekturwerte für jede Kamera zu schätzen, mit der Ausnahme, dass in diesem Fall Chrominanz U und V-Werte geändert werden. Daher sind die Ausgangssignale des Algorithmus Korrekturwerte für beide U und V für jede Kamera, welche anschließend für den Aufbau der Chrominanz-Dynamikkompressions-Tabellen verwendet werden.
Im Vergleich zu der Helligkeitsanpassung, wo das Problem gelöst wird, die Helligkeit bestimmter Teile des Draufsichtbilds 11 von verschiedenen Kameras 4a, 4b, 4c, 4d zu harmonisieren, sollen bei dem Farbkorrektur-Algorithmus die Harmonisierung (relative Korrektur) und der absoluten Farbkorrektur durchgeführt werden, um ein Draufsichtbild 11 mit den richtigen Farben zu erzeugen. Letzteres bezieht sich auf das Problem von Farbstichen von allgemeinen Kamera-Bildgebungssystemen, bei denen das Ausgangskamerabild einen bestimmten Farbstich aufgrund spezifischer 3D-Inhalte und Lichtstrahlen in dem Umgebungsbereich 9 haben kann. Obwohl manchmal kleine Farbstiche bei einer Einzelbildansicht durch den Menschen nicht so leicht erkennbar sind, können bei zwei Bilder von zwei Kameras, wenn diese entsprechend nebeneinander gestellt sind - wie dies bei der Erzeugung des Draufsichtbilds 11 der Fall ist - auch relativ kleine Unterschiede im Farbstich sichtbar und störend sein. Folglich zielt die Farbkorrektur auf beides, die Korrektur des absoluten und des relativen Farbstichs zwischen verschiedenen Kamerabildern ab.
Da im Allgemeinen die wahren Farbwerte bestimmter Objekte, die das Kraftfahrzeug 1 umgebenden, nicht bekannt sind, kann die Information, die von der Farbe des Objekts stammt nicht effizient für die Farbkorrektur berücksichtigt werden. Hier wird die Tatsache berücksichtigt, dass in automobilen Anwendung in den meisten Fällen eine Straßenoberfläche in dem Umgebungsbereich 9 vorhanden ist und dass die Straßenoberfläche ist in den meisten Fällen frei von Farbe ist. In Fällen, bei denen irgendwelche relevanten Informationen rund um das Kraftfahrzeug 1 herum nicht gefunden werden können, wird die Durchführung der Farbkorrektur vermieden. Dies kann der Fall sein, wenn sich das Kraftfahrzeug 1 nicht auf der Straße befindet oder die Straßenoberfläche nicht grau ist, beispielsweise nahe an Kreuzungen, wo diese gelb, blau, rot oder dergleichen sein kann. Ein weiterer wichtiger Aspekt ist, dass für den Fall, dass graue Straßenoberfläche nicht als Referenz für die Farbstichkorrektur verwendet werden kann, es in den meisten Fällen nicht einmal wichtig ist, da der Farbstich meist auf Objekten sichtbar ist, die entweder standardmäßig grau sind, oder auf einigen Objekten, wie zum Beispiel das menschliche Gesicht, bei welchem das menschliche Auge an seine Referenzfarbe gewohnt ist. Mit anderen Worten, entstehen bei sehr bunten Objekte Farbstiche, die oft so nicht sichtbar sind
Der Eingang für den Farbkorrektur-Algorithmus sind U- und V-Histogramme für die Regionen von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3, die vor der weiteren Verarbeitung quantisiert werden. Diese Histogramme werden weiterhin mittels einer Gaußsche Funktion eines bestimmten Standardabweichungswerts gewichtet. Der zentrale oder mittlere Wert der Gauß-Kurve wird auf der Grundlage der Referenz-Chrominanz -Werte für Grau gesetzt. In diesem Zusammenhang werden zwei unterschiedliche Farbkorrekturalgorithmen vorgeschlagen, ein erster und ein zweiter Farbkorrekturalgorithmus.
Innerhalb des ersten Farbkorrekturalgorithmus werden die U- und V-Histogramme mit einer Gaußschen Kurve gewichtet, die bei U = V = 128 zentriert ist und eine vorbestimmte Standardabweichung hat. Die Standardabweichung kann in Abhängigkeit von verschiedenen 3D-Inhalten und den Kameraeinstellungen festgelegt werden. Die Gaußsche Kurve wird als Gewichtung des Histogramms in der Form einer Tabelle oder einem Array vorgesehen. Dann werden die endgültigen Schätzwerte für den Farbstich bestimmt. Hier kann ein Grenzwert festgelegt werden, die die Mindestanzahl von berechneten gewichteten Histogramm-Werte angibt, die für Schätzung des Farbstichs für die Region von Interesse erforderlich erachtet werden. Der optimale Wert hängt von der Anwendung, der Kameraeinstellung und andere Algorithmus-Parametern, wie der Histogramm-Quantisierung, ab. Die absoluten Schätzwerte für den Farbstich jeder Kamera 4a, 4b, 4c, 4d werden als mittlere Farbstich-Wert von der gleichen Kamera 4a, 4b, 4c, 4d für verschiedene Regionen von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 ermittelt. Nachdem die absoluten Farbstiche bestimmt worden sind, wird die relative Farbharmonisierung angewandt. Dies wird verwendet, um den Farbstich so anzugleichen, dass der Betrachter das Gefühl bekommt, dass das ganze Draufsichtbild 11 einen Farbstich hat.
Die Farbharmonisierung wird in einem zweistufigen Verfahren, einem sogenannten „Hufeisen“-Ansatz, durchgeführt. Dies ist schematisch in den 9 und 10 beschrieben. Der erste Schritt der Farbharmonisierung, der 9 entspricht, umfasst die Messung der Unterschiede der Farbestiche in den vier Ecken des Draufsichtbilds 11. Auf diese Weise Fehlanpassungen bestimmt werden, die anschließend zur Korrektur der Farbstich-Werte der Eingabebilder ML und MR verwendet werden. Zunächst werden die Fehlanpassungs-Werte verwendet, um die Farbstiche der Eingangsbilder MR und ML relativ zu den Eingangsbilder FV und RV zu korrigieren (gezeigt in 9). Die korrigierten Farbstich-Werte werden dann in einem zweiten Schritt dazu verwendet, um die Fehlanpassungs-Werte für die Ecken zu bestimmen. Schließlich werden die Korrekturwerte für den Farbstich für die Eingangsbilder FV und RV relativ zu den Eingangsbildern MR und ML angepasst (10).
In dem zweiten Farbkorrekturalgorithmus werden die U- und V-Histogramme mit mehreren Gauß-Kurven gewichtet, im Gegensatz zu der Gewichtung mit nur einer Kurve. Die Position der mehreren zweidimensionalen Gaußschen Gewichtungskurven in dem U-V-Raum ist in 11 gezeigt.
11 zeigt verschiedene Regionen von Interesse UV_ROI_0, UV_ROI_1, UV_ROI_2, UV_ROI_3 und UV_ROI_4 in dem U-V-Raum. Die Region von Interesse UV_ROI_0 entspricht der mittleren Position der zweidimensionalen Gauß-Kurve und ist diese, welche aktuell nur in dem ersten Farbkorrekturalgorithmus verwendet wird. In dem zweiten Farbkorrekturalgorithmus werden zusätzlich die Regionen von Interesse UV_ROI_2 und UV_ROI_4 verwendet, die dem gelblichen und bläulichen Farbstich entsprechen. Die beiden zusätzlichen Regionen von Interesse UV_ROI_2 und UV_ROI_4 werden verwendet, da sich der Farbstich, der in der Kamera 4a, 4b, 4c, 4d eingeführt und korrigiert wird, in den meisten Fällen von UV_ROI_2 zu UV_ROI_4 und in die entgegengesetzte Richtung bewegt. Die anderen zwei Regionen UV_ROI_1 und UV_ROI_3 als Farbinformationen, welche von farbigen Objekten stammen, angenommen und nicht zur Farbkorrektur verwendet. Es ist das Ziel, nach dem Vorhandensein von Farbstichen in den grauen Objekten, welche bevorzugt der Straßenoberfläche entsprechen, zu suchen. Die Regionen von Interesse UV_ROI_2 und UV_ROI_4 werden weiter dazu verwendet, die Menge der absoluten Farbkorrektur für jede der Regionen von Interesse FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3 und anschließend für jede der Kameras 4a, 4b, 4c, 4d zu bestimmen.
Für die Farbkorrektur werden zunächst die Indizes für die Gaußschen Gewichtungskurven bestimmt. Dazu werden die Indizes in einer Filterkern-Arraystruktur angeordnet. Der Filterkern wird nur einmal für eine bestimmte Standardabweichung erzeugt. In der aktuellen Implementierung wird ein Wert für alle zweidimensionalen Gaußschen Gewichtungskurven eingestellt. Der einzige Unterschied ist der Verschiebungswert, welcher eingestellt werden kann. Beispielsweise kann dieser zum Einstellen des Zentrums des Gaußschen Kern-Arrays auf den Mittenwert verwendet werden, welcher dann nach links verschoben wird. Nachdem die Indizes bestimmt wurden, wird die gewichtete Mittelung des Histogramms durch gewichtete Histogramm-Integration durchgeführt. Auch in diesem Fall wird ein Schwellenwert verwendet, um zu überprüfen, ob es eine ausreichende Anzahl von gesammelten Chrominanz-Werten oder Chroma-Werten in den akkumulierten und gewichteten Histogramm-Werten gibt.
Darüber hinaus werden die Gewichtungen für die Regionen von Interesse UV_ROI_2 und UV_ROI_4 bestimmt. Diese Gewichtungen bieten eine weiche Entscheidung, welche von diesen beiden zur Abschätzung endgültigen Chrominanz-Wert verwendet werden soll. Darüber hinaus wird der Abstand zwischen den Punkten in dem zweiten und dem vierten Quadranten in dem U-V-Raum bestimmt. Wenn der Abstand klein und in der Nähe von Null ist, sind beide Gewichtungskoeffizienten gleich und geben damit den gleichen Einfluss auf die endgültige Chrominanz-Schätzung. Die Idee ist es, den Abstand des Punktes zum der zentrierten Schätzung zu bestimmen, welche UV_ROI_0 entspricht. Je näher der Punkt an der zentrierten Schätzung ist, desto mehr Gewichtung dieser in der endgültigen Berechnung vorgesehen. Dies basiert auf der Tatsache, dass sich in den meisten Fällen die Farbe des Objekts zwischen dem zweiten und vierten Quadranten bewegt (aufgrund eines Farbkorrektur-Algorithmus der Kamera), und dass die, welche näher an dem Zentrum ist, der eigentliche Farbstich ist während die andere dem farbigen Objekt entspricht.
Die Farbkorrektur wird für die weitere Chrominanz-Harmonisierung zwischen den Eingangsbildern FV, RV, ML, MR mit dem Hufeisen-Ansatz durchführen. Dies gilt für beide, den ersten und den zweiten Farbkorrekturalgorithmus. Schließlich werden Ausgaben für den U- und V-Farbstich von dem Referenzwert von 128 subtrahiert. Diese Werte werden dazu verwendet, um Dynamikkompressions-Tabellen für die U- und V-Chrominanz-Komponenten erzeugen, die zur Einstellung des Farbstichs der Anzeigevorrichtung 10 verwendet werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 6672796 B2 [0004]

Claims

Verfahren zum Bestimmen eines zusammengesetzten Bilds (14) eines Umgebungsbereichs (9) eines Kraftfahrzeugs (1), bei welchem zumindest zwei Eingangsbilder (FV, RV, ML, MR) von jeweiligen Kameras (4a, 4b, 4c, 4d) des Kraftfahrzeugs (1) empfangen werden und aus den Eingangsbildern (FV, RV, ML, MR) das zusammengesetzte Bild (14) bestimmt wird, wobei zum Bestimmen des zusammengesetzten Bilds (14) eine Helligkeit und/oder eine Farbe zumindest eines der Eingangsbilder (FV, RV, ML, MR) angepasst wird, dadurch gekennzeichnet, dass Histogramme bestimmt werden, welche eine Luminanz und/oder eine Chrominanz der jeweiligen Eingangsbilder (FV, RV, ML, MR) beschreiben und die Helligkeit und/oder die Farbe des zumindest einen Eingangsbilds (FV, RV, ML, MR) anhand der Histogramme angepasst wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass anhand der Histogramme jeweilige Korrekturwerte für die Komponenten Y, U und/oder V in einem YUV-Farbraum des zumindest einen Eingangsbilds (FV, RV, ML, MR) bestimmt werden und ein Eingangsbild (FV, RV, ML, MR), welches zu einem späteren Zeitpunkt (t+1) empfangen wird, anhand der jeweiligen Korrekturwerte korrigiert wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in den jeweiligen Eingangsbildern (FV, RV, ML, MR) zumindest zwei Regionen von Interesse (FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3) bestimmt werden und die Histogramme für die jeweiligen Regionen von Interesse (FV0, FV2, RV0, RV2, ML0, ML1, ML2, ML3, MR0, MR1, MR2, MR3) bestimmt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Überlappungsbereich (15) bestimmt wird, in welchem sich die zumindest zwei Eingangsbilder (FV, RV, ML, MR) beim Bestimmen des zusammengesetzten Bilds (14) zumindest bereichsweise überlagern und die Histogramme für die jeweiligen Eingangsbilder (FV, RV, ML, MR) in Abhängigkeit von dem Überlappungsbereich (15) bestimmt werden.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Histogramm für das jeweilige Eingangsbild (FV, RV, ML, MR) in Abhängigkeit von dem Überlappungsbereich (15) segmentiert wird und die Segmente der Histogramme der jeweiligen Eingangsbilder (FV, RV, ML, MR), welche zu dem Überlappungsbereich (15) gehören, gewichtet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Mehrzahl von Eingangsbilder (FV, RV, ML, MR) empfangen wird, anhand der Histogramme Luminaz-Werte für jedes der Eingangsbilder (FV, RV, ML, MR) bestimmt werden und ein jeweiliger Unterschied zwischen den Luminaz-Werten bestimmt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die jeweiligen Unterschiede für zwei verschiedene Reihenfolgen entlang der Eingangsbilder (FV, RV, ML, MR) für jedes der Eingangsbilder (FV, RV, ML, MR) bestimmt werden und ein Korrekturwert für das zumindest eine Eingangsbild (FV, RV, ML, MR) anhand der jeweiligen Unterscheide bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest vier Eingangsbilder (FV, RV, ML, MR) empfangen werden und als das zusammengesetzte Bild (14) ein Draufsichtbild (11) bestimmt wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass für jedes Eingangsbild (FV, RV, ML, MR) ein absoluter Korrekturwert für die Farbe geschätzt wird, für jeweilige Überlappungsbereiche (15) der Eingangsbilder (FV, RV, ML, MR) anhand der absoluten Korrekturwerte ein relativer Korrekturwert für die Farbe bestimmt wird und die Anpassung der Farbe anhand der absoluten und relativen Korrekturwerte durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anpassung der Farbe anhand von zweidimensionalen Gaußschen Kurven durchgeführt wird, welche einem Farbstich beschreiben.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Anpassung der Helligkeit und/oder der Farbe des zumindest einen Eingangsbilds (FV, RV, ML, MR) eine Helligkeit und/oder Farbe einer Fahrbahnoberfläche in dem Umgebungsbereich (9) des Kraftfahrzeugs (1) bestimmt wird und als Referenz verwendet wird.
Bildverarbeitungseinrichtung (3) für ein Kamerasystem (2) eines Kraftfahrzeugs (1), welche dazu ausgelegt ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
Kamerasystem (2) für ein Kraftfahrzeug (1) aufweisend zumindest zwei Kameras (4a, 4b, 4c, 4d) zum Erfassen eines jeweiligen Eingangsbilds (FV, RV, ML, MR) und eine Bildverarbeitungseinrichtung (3) nach Anspruch 12.
Kamerasystem (2) nach Anspruch 13, dadurch gekennzeichnet, dass das Kamerasystem (2) zumindest vier Kameras (4a, 4b, 4c. 4d) aufweist, wobei die Bildverarbeitungseinrichtung (3) dazu ausgebildet ist, als das zusammengesetzte Bild (14) ein Draufsichtbild (11) basierend auf den Eingangsbildern (FV, RV, ML, MR) zu generieren.
Kraftfahrzeug (1) mit einem Kamerasystem (2) nach Anspruch 13 oder 14.