DE102013020952A1

DE102013020952A1 - Verfahren zum Einstellen eines für die Helligkeit und/oder für den Weißabgleich einer Bilddarstellung relevanten Parameters in einem Kamerasystem eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug

Info

Publication number: DE102013020952A1
Application number: DE102013020952.8A
Authority: DE
Inventors: wird später genannt werden Erfinder
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2013-12-12
Filing date: 2013-12-12
Publication date: 2015-06-18

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Kamerasystems (2) eines Kraftfahrzeugs (1), bei welchem mittels zumindest einer Kamera (3, 4, 5, 6) des Kamerasystems (2) Bilder eines Umgebungsbereichs (9, 10, 11, 12) des Kraftfahrzeugs (1) bereitgestellt werden und mittels einer Bildverarbeitungseinrichtung (7) des Kamerasystems (2) zumindest eine Region von Interesse in den Bildern bestimmt wird und aus der zumindest einen Region von Interesse eine Bilddarstellung zur Anzeige auf einem Display (8) bereitgestellt wird, wobei durch eine Steuereinrichtung des Kamerasystems (2) zumindest ein für eine Helligkeit und/oder für einen Weißabgleich der Bilddarstellung relevanter Parameter abhängig von Bildpunkten der Region von Interesse eines aktuellen Bilds eingestellt wird. Es wird eine aktuelle Bewegungsrichtung einer in den Bildern abgebildeten Szene relativ zum Kamerasystem (2) ermittelt und überprüft, ob sich ein außerhalb der Region von Interesse liegender Teil der Szene in Richtung zur Region von Interesse bewegt. Falls ja, wird der Parameter abhängig von den Bildpunkten der Region von Interesse sowie abhängig von Bildpunkten des außerhalb der Region von Interesse liegenden Teils der Szene eingestellt.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, bei welchem mittels zumindest einer Kamera des Kamerasystems Bilder eines Umgebungsbereichs des Kraftfahrzeugs bereitgestellt werden und mittels einer Bildverarbeitungseinrichtung des Kamerasystems zumindest eine Region von Interesse in den Bildern bestimmt wird und aus der zumindest einen Region von Interesse eine Bilddarstellung zur Anzeige auf einem Display bereitgestellt wird, wobei mittels einer Steuereinrichtung des Kamerasystems zumindest ein für eine Helligkeit und/oder für einen Weißabgleich der Bilddarstellung relevanter Parameter abhängig von Bildpunkten der Region von Interesse eines aktuellen Bilds eingestellt wird. Die Erfindung betrifft außerdem ein Kamerasystem, welches zum Durchführen eines solchen Verfahrens ausgelegt ist, sowie ein Kraftfahrzeug mit einem solchen Kamerasystem.
Kamerasysteme für Kraftfahrzeuge sind bereits aus dem Stand der Technik bekannt. In einem Kraftfahrzeug können bekanntlich mehrere Kameras eingesetzt werden, wobei es heutzutage mehr und mehr üblich wird, für ein Kamerasystem eines Fahrzeugs eine Kameraanordnung mit wenigstens zwei Kameras zu verwenden, welche jeweils einen Umgebungsbereich des Kraftfahrzeugs erfassen. Es können beispielsweise vier Kameras eingesetzt werden, die die gesamte Umgebung um das Kraftfahrzeug herum erfassen. Aus den Bildern aller Kameras kann beispielsweise eine Gesamtbilddarstellung bereitgestellt werden, wie zum Beispiel das so genannte „Bird Eye View”. Diese Bilddarstellung repräsentiert eine Draufsicht auf das Kraftfahrzeug sowie seine Umgebung aus einer Vogelperspektive und somit beispielsweise von einem Referenzsichtpunkt direkt über dem Kraftfahrzeug aus. Die Bereitstellung einer solchen Umgebungsdarstellung aus den Bildern mehrerer Kameras ist beispielsweise aus dem Dokument US 2011/0156887 bekannt.
Bei einem Kamerasystem eines Kraftfahrzeugs kann das Display üblicherweise zwischen unterschiedlichen Betriebsmodi geschaltet werden, die sich bezüglich der angezeigten Bilddarstellung und somit bezüglich der Ansicht untereinander unterscheiden. Der Fahrer des Kraftfahrzeugs kann hier zwischen unterschiedlichen Ansichten auswählen, die für verschiedene Straßensituationen konzipiert und optimiert sind. Neben einem Betriebsmodus, in welchem das oben genannte „Bird Eye View” als Bilddarstellung angezeigt wird, kann das Display beispielsweise auch in einen Cross-Traffic-Betriebsmodus geschaltet werden, in welchem die so genannte Kreuzungsdarstellung (junction view) angezeigt wird, d. h. eine Ansicht, welche den Querverkehr zeigt. Eine solche Kreuzungsdarstellung kann beispielsweise anhand von Bildern einer Kamera bereitgestellt werden, die an der Front – beispielsweise am vorderen Stoßfänger – oder aber im Heckbereich – beispielsweise am hinteren Stoßfänger oder an einer Heckklappe – angeordnet ist und einen relativ breiten Öffnungswinkel von 160° bis 200° aufweist. In einem noch weiteren Betriebsmodus kann auf dem Display eine Bilddarstellung angezeigt werden, welche aus den Bildern einer Rückfahrkamera (rear view camera) erzeugt wird und den Umgebungsbereich hinter dem Kraftfahrzeug darstellt.
Die Erzeugung der Bilddarstellung, welche auf dem Display angezeigt wird, erfolgt folgendermaßen: Eine elektronische Bildverarbeitungseinrichtung bestimmt zu jeder Kamera jeweils eine so genannte Region von Interesse (ROI). Zur Bereitstellung der Bilddarstellung werden aus den Bildern der Kameras lediglich die ROIs verwendet und verarbeitet. Diese ROIs sind für die oben genannten Betriebsmodi des Displays unterschiedlich. Wird beispielsweise das „Bird Eye View” als Bilddarstellung erzeugt, so wird aus den Bildern der Kameras jeweils lediglich ein relativ kleiner Teilbereich als ROI ausgeschnitten, in welchem die Umgebung des Kraftfahrzeugs bis zu einer bestimmten Entfernung abgebildet ist. Wird das Display hingegen in einen Betriebsmodus geschaltet, in welchem die Bilddarstellung ausschließlich auf Bildern einer Rückfahrkamera (rear view camera) basiert, so kann die ROI einen insgesamt größeren Bereich des Bildrahmens der Rückfahrkamera beinhalten.
Dadurch, dass die auf dem Display angezeigte Bilddarstellung immer lediglich aus einer oder mehreren ROIs erzeugt wird, ergibt sich folgende Problematik: Zur automatischen Steuerung einer Belichtungszeit (Automatic Exposure Control, AEC) sowie zur automatischen Steuerung eines Verstärkungsfaktors eines analogen Verstärkers der Kamera (Automatic Gain Control, AGC) wird die Helligkeit von Bildpunkten ausgewertet und berücksichtigt, welche sich innerhalb der ausgewählten ROI befinden. Bewegt sich nun das Kraftfahrzeug, so kann es vorkommen, dass sich die in der ROI abgebildete Szene plötzlich ändert. Ändert sich die Helligkeit der Szene abrupt, so wird der Verstärkungsfaktor und/oder die Belichtungszeit des Bildsensors entsprechend nachgeregelt, was jedoch eine sprunghafte Änderung der Helligkeit der angezeigten Bilddarstellung auf dem Display zur Folge hat. Entsprechendes gilt auch für den Weißabgleich und somit für die Farbkorrektur der Bilddarstellung, wenn sich die dominante Farbgebung der Szene plötzlich ändert. Hier kann es vorkommen, dass sich ein blauer Farbstich der angezeigten Bilddarstellung abrupt zu einem roten Farbstich ändert. Solche abrupten Änderungen der Helligkeit und/oder der Farbe der angezeigten Bilddarstellung können zu einer Irritation des Fahrers führen. Eine besondere Herausforderung besteht darin, solche Änderungen im Voraus zu detektieren und eine gleichmäßige Änderung der Helligkeit und/oder des Weißabgleichs ohne Sprünge zu gewährleisten.
Ein Verfahren zur Steuerung einer Belichtungszeit eines HDR-Bildsensors (High Dynamic Range) ist beispielsweise aus dem Dokument US 2011/0157362 A1 bekannt. Es werden hier zwei unterschiedliche Belichtungszeitwerte verwendet. Ein Schwellwert für diese Belichtungszeitwerte wird abhängig von der aktuellen Geschwindigkeit des Fahrzeugs eingestellt. Es gilt dabei die Beziehung, dass je schneller sich das Kraftfahrzeug bewegt, desto kürzer die maximal zulässige Belichtungszeit ist.
Aus dem Dokument EP 1 591 316 B1 ist ein Bildaufnahmesystem für ein Kraftfahrzeug bekannt, bei welchem der Weißabgleich in Abhängigkeit von Betriebskenngrößen des Kraftfahrzeugs und Umgebungsbedingungen gesteuert wird. Die Steuerung des Weißabgleichs erfolgt dabei beispielsweise abhängig von der aktuellen Geschwindigkeit des Fahrzeugs.
Eine Aufgabe der Erfindung besteht darin, bei einem Verfahren der eingangs genannten Gattung Maßnahmen zu treffen, die bei einer abrupten Änderung der abgebildeten Szene eine gleichmäßige Änderung der Bilddarstellung auf dem Display gewährleisten.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
Ein erfindungsgemäßes Verfahren dient zum Betreiben eines Kamerasystems eines Kraftfahrzeugs. Mittels zumindest einer Kamera des Kamerasystems werden Bilder eines Umgebungsbereichs des Kraftfahrzeugs bereitgestellt. Mittels einer Bildverarbeitungseinrichtung des Kamerasystems wird zumindest eine Region von Interesse (nachfolgend als ROI bezeichnet) in den Bildern bestimmt. Aus der zumindest einen Region von Interesse wird dann eine Bilddarstellung zur Anzeige auf einem Display bereitgestellt. Zumindest ein für eine Helligkeit und/oder für einen Weißabgleich der Bilddarstellung relevanter Parameter wird abhängig von den Bildpunkten der ROI eines aktuellen Bilds durch eine Steuereinrichtung eingestellt. Die Steuereinrichtung ermittelt eine aktuelle Bewegungsrichtung einer in den Bildern abgebildeten Szene relativ zum Kamerasystem und somit relativ zur ROI. Die Steuereinrichtung überprüft abhängig von der Bewegungsrichtung, ob sich ein außerhalb der ROI liegender Teil der Szene in Richtung zur ROI bewegt und somit voraussichtlich in die ROI eintreten wird. Ist dieses Kriterium erfüllt, so wird der für die Helligkeit und/oder für den Weißabgleich relevante Parameter abhängig von den Bildpunkten der ROI sowie abhängig von Bildpunkten des außerhalb der ROI liegenden Teils der Szene eingestellt.
Die Erfindung macht sich die Tatsache zunutze, dass auf dem Display eines Kraftfahrzeugs üblicherweise lediglich ein Teilbereich der Bilder angezeigt wird, während das Kamerasystem tatsächlich eine größere Umgebung des Kraftfahrzeugs erfasst. Der Fahrer sieht auf dem Display also lediglich einen Teil der erfassten Umgebung, während der restliche Teil auf dem Display nicht dargestellt wird, dem Kamerasystem jedoch bekannt ist. Aus diesen Teilbereichen der Bilder, welche nicht angezeigt werden, können zusätzliche Informationen bezüglich einer voraussichtlichen Änderung der Szene innerhalb der ROI gewonnen werden. Anhand der abgebildeten Szene außerhalb der ROI kann bereits im Voraus eine abrupte Änderung der Helligkeit und/oder der dominanten Farbe detektiert werden, noch bevor diese Änderung in der ROI auftritt. Ist eine solche Änderung bereits im Voraus bekannt, so kann der Parameter so eingestellt werden, dass abrupte Änderungen der Helligkeit und/oder der Farbgebung der Bilddarstellung auf dem Display verhindert werden. Es kann also insgesamt eine gleichmäßige und flüssige Änderung der Bilddarstellung auf dem Display gewährleistet werden. Die Steuereinrichtung kann hier überprüfen, ob sich der Teil der abgebildeten Szene außerhalb der ROI in Richtung zur ROI bewegt und somit voraussichtlich in der ROI sein wird. Ist dies nicht der Fall, so kann die Steuereinrichtung den Parameter in üblicher Weise lediglich abhängig von den Bildpunkten der ROI einstellen. Wird jedoch festgestellt, dass sich der Teil der Szene außerhalb der ROI in Richtung zur ROI bewegt, so werden zur Einstellung des Parameters auch die Bildpunkte des aktuellen Bilds verwendet, die sich außerhalb der ROI befinden.
Die zumindest eine Kamera ist vorzugsweise eine farbempfindliche Bilderfassungseinrichtung, welche Licht im sichtbaren Spektralbereich detektieren kann. Die Kamera ist bevorzugt eine Videokamera, welche eine Sequenz von Bildern pro Sekunde bereitstellt. Die Kamera kann einen CCD-Bildsensor oder aber einen CMOS-Bildsensor umfassen.
Optional kann der Bildsensor auch ein HDR-Bildsensor (High Dynamic Range) sein.
Die Bildverarbeitungseinrichtung ist vorzugsweise eine von der zumindest einen Kamera separate Komponente. Die Bildverarbeitungseinrichtung ist zum Beispiel durch ein Steuergerät gebildet, welches einen digitalen Signalprozessor beinhalten kann. Dieses Steuergerät hat vorzugsweise auch die Funktion der oben genannten Steuereinrichtung, mittels welcher der zumindest eine für die Helligkeit und/oder für den Weißabgleich relevante Parameter gesteuert wird.
Wird also detektiert, dass sich der Teil der außerhalb der ROI abgebildeten Szene in Richtung zur ROI bewegt, so wird der Parameter abhängig von den Bildpunkten der ROI sowie abhängig von den Bildpunkten außerhalb der ROI eingestellt bzw. gesteuert. Dies kann beispielsweise so vorgenommen werden, dass für den Parameter ein erster Wert abhängig von den Bildpunkten der ROI sowie zusätzlich ein zweiter Wert abhängig von den Bildpunkten des außerhalb der ROI liegenden Teils der Szene bestimmt werden. Der erste Wert und der zweite Wert werden dann zu einem endgültigen Wert des Parameters miteinander kombiniert, welcher tatsächlich verwendet wird. Mit anderen Worten wird der erste Wert also wie üblich anhand der Bildpunkte bestimmt, die innerhalb der ROI und somit innerhalb des Bildbereichs liegen, welcher auf dem Display angezeigt wird. Der zweite Wert hingegen wird alleine anhand der Bildpunkte außerhalb der ROI bestimmt, d. h. anhand eines Bildbereichs, der nicht auf dem Display angezeigt wird. Durch eine Kombination dieser beiden Werte kann der Parameter so gesteuert werden, dass es insgesamt zu keiner abrupten Änderung der Bilddarstellung auf dem Display kommt und gegebenenfalls auftretende abrupte Änderungen der Szene gleichmäßig auf dem Display dargestellt werden können.
Vorzugsweise erfolgt die Bestimmung des endgültigen Werts des Parameters nach der Methode des „Alpha Blending” und somit anhand der folgenden Gleichung: P = αP2 + (α – 1)P1, wobei P den endgültigen Wert des Parameters, P1 den ersten Wert und P2 den zweiten Wert bezeichnen. α bezeichnet dabei einen Parameter, der in einem Wertebereich von 0 bis 1 liegt und vorzugsweise im Betrieb des Kamerasystems dynamisch angepasst wird. Diese Methode ermöglicht eine situationsabhängige und bedarfsgerechte Kombination der beiden Werte P1 und P2 und somit eine flüssige und gleichmäßige Änderung der Helligkeit und/oder der dominanten Farbe der angezeigten Bilddarstellung bei abrupten Änderungen der Szene.
Es erweist sich als besonders vorteilhaft, wenn eine Geschwindigkeit der Bewegung der Szene relativ zum Kamerasystem ermittelt wird und das Kombinieren des ersten Werts und des zweiten Werts abhängig von der Geschwindigkeit erfolgt. Es gilt vorzugsweise die Beziehung, dass je geringer die Geschwindigkeit ist, desto geringer der Einfluss der Bildpunkte außerhalb der ROI auf den endgültigen Wert des Parameters ist. Mit anderen Worten soll bei einer geringen Geschwindigkeit der zweite Wert auch einen geringen Einfluss auf den endgültigen Wert des Parameters haben. Und umgekehrt, je schneller sich die Szene relativ zum Kamerasystem bewegt, desto größer sollte auch der Einfluss der Bildpunkte außerhalb der ROI auf den endgültigen Wert des Parameters sein. Dies ist vorteilhaft, da ein außerhalb der ROI festgestellter Sprung in der Helligkeit der Bildpunkte bei einer geringeren Geschwindigkeit auch später in die ROI gelangt als bei einer größeren Geschwindigkeit.
Wird die oben dargestellte Gleichung verwendet, so kann der Parameter α abhängig von der Geschwindigkeit dynamisch im Betrieb des Kamerasystems eingestellt werden. Der Parameter α wird dabei vorzugsweise proportional zur Geschwindigkeit variiert. Für eine Geschwindigkeit gleich null gilt somit: α = 0. Ist die Geschwindigkeit sehr hoch, so kann α im Extremfall auch eins betragen. Somit kann die Berücksichtigung der Geschwindigkeit ohne viel Aufwand implementiert werden.
Abhängig von den Bildpunkten der ROI sowie abhängig von den Bildpunkten des außerhalb der ROI liegenden Teils der Szene kann zumindest einer der folgenden Parameter eingestellt werden, der für die Helligkeit und/oder für den Weißabgleich relevant ist:

– eine Belichtungszeit eines Bildsensors der Kamera – dieser Parameter wird üblicherweise abhängig von der Helligkeit der Szene gesteuert; und/oder
– ein Verstärkungsfaktor eines dem Bildsensor nachgeschalteten, insbesondere analogen, Verstärkers der Kamera – auch dieser Verstärkungsfaktor wird üblicherweise abhängig von der Helligkeit der Szene gesteuert; und/oder
– ein Verstärkungsfaktor einer digitalen Verstärkung bei einer Nachverarbeitung der Bilder mittels der Bildverarbeitungseinrichtung – dieser digitale Verstärkungsfaktor wird also nicht direkt an der Kamera, sondern in der Bildverarbeitungseinrichtung bei der nachträglichen Verarbeitung der Bilder eingestellt; und/oder
– ein Verstärkungsfaktor zumindest eines Farbkanals der Bilder beim Durchführen des Weißabgleichs.

Das Kamerasystem kann auch ein Multikamerasystem sein, bei welchem zumindest zwei Kameras jeweils Bilder eines Umgebungsbereichs des Kraftfahrzeugs bereitstellen. Die Bildverarbeitungseinrichtung kann dann jeweils zumindest eine Region von Interesse in den Bildern der jeweiligen Kamera bestimmen und die Bilddarstellung zur Anzeige auf dem Display aus den jeweiligen ROIs der Kameras erzeugen. Der für die Helligkeit und/oder für den Weißabgleich relevante Parameter kann für eine erste der Kameras abhängig von den Bildpunkten der ROI dieser ersten Kamera sowie abhängig von Bildpunkten des außerhalb der ROI liegenden Teils der Szene einer zweiten der Kameras eingestellt werden, falls sich dieser Teil der Szene in Richtung zur ROI der ersten Kamera bewegt. Mit anderen Worten werden zur Steuerung des Parameters der ersten Kamera auch Bildpunkte der zweiten Kamera verwendet, die außerhalb der ROI der zweiten Kamera liegen. Eine solche Vorgehensweise ist dann vorteilhaft, wenn beispielsweise das oben genannte „Bird Eye View” als Bilddarstellung erzeugt wird, bei welchem die ROIs aller Kameras zur Erzeugung der Bilddarstellung genutzt werden. Bewegt sich das Kraftfahrzeug geradeaus, so kann bereits anhand von Bildpunkten der vorderen Kamera eine bevorstehende Änderung der Szene im Voraus detektiert werden, und diese Bildpunkte können auch zur Steuerung des Parameters der anderen Kameras genutzt werden.
Die Bewegungsrichtung kann in einer Ausführungsform durch die Bildverarbeitungseinrichtung anhand der Bilder selbst bestimmt werden. Die Bewegungsrichtung der abgebildeten Szene kann hier beispielsweise unter Verwendung von so genannten optischen Flussvektoren bestimmt werden, welche anhand der Bilder ermittelt werden können. Diese Flussvektoren geben dann die Bewegungsrichtung sowie die Bewegungsgeschwindigkeit der Bildpunkte an. Ergänzend oder alternativ kann die Steuereinrichtung auch Odometriedaten des Kraftfahrzeugs empfangen und die Bewegungsrichtung der abgebildeten Szene relativ zum Kamerasystem in Abhängigkeit von den Odometriedaten bestimmen. Die Bewegungsrichtung der abgebildeten Szene relativ zum Kamerasystem ist nämlich korreliert mit der Bewegungsrichtung des Kraftfahrzeugs selbst. Die Odometriedaten können an einem Kommunikationsbus des Kraftfahrzeugs abgegriffen werden.
Auch die Geschwindigkeit der Bewegung kann anhand der Bilder selbst und/oder anhand von Fahrzeugdaten ermittelt werden, die an dem Kommunikationsbus abgegriffen werden.
Die Erfindung betrifft auch ein Kamerasystem, welches zum Durchführen eines erfindungsgemäßen Verfahrens ausgebildet ist.
Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Kamerasystem.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
Es zeigen:
1 in schematischer Darstellung ein Kraftfahrzeug mit einem Kamerasystem gemäß einer Ausführungsform der Erfindung;
2 ein Blockdiagramm des Kamerasystems zur Erläuterung eines Verfahrens gemäß einer Ausführungsform der Erfindung; und
3 ein weiteres Blockdiagramm.
Ein in 1 dargestelltes Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Das Kraftfahrzeug 1 umfasst ein Kamerasystem 2, welches im Ausführungsbeispiel eine Vielzahl von Kameras 3, 4, 5, 6 aufweist, die an dem Kraftfahrzeug 1 verteilt angeordnet sind. Im Ausführungsbeispiel sind vier Kameras 3, 4, 5, 6 vorgesehen, wobei die Erfindung nicht auf eine solche Anzahl und Anordnung der Kameras 3, 4, 5, 6 beschränkt ist. Es kann grundsätzlich eine beliebige Anzahl von Kameras verwendet werden, welche an unterschiedlichen Stellen des Kraftfahrzeugs 1 angeordnet sein können. Alternativ zu einem solchen Multikamerasystem 2 kann auch ein Kamerasystem 2 mit einer einzigen Kamera verwendet werden.
Eine erste Kamera 3 ist beispielsweise am vorderen Stoßfänger des Kraftfahrzeugs 1 angeordnet. Eine zweite Kamera 4 ist zum Beispiel im Heckbereich angeordnet, etwa am hinteren Stoßfänger oder an einer Heckklappe. Die beiden seitlichen Kameras 5, 6 können zum Beispiel in die jeweiligen Außenspiegel integriert sein. Die Kameras 3, 4, 5, 6 sind mit einer zentralen Bildverarbeitungseinrichtung 7 elektrisch gekoppelt, welche wiederum mit einem Display 8 gekoppelt ist. Das Display 8 ist eine beliebige Anzeigeeinrichtung, beispielsweise ein LCD-Display.
Die Kameras 3, 4, 5, 6 sind Video-Kameras, welche jeweils eine Sequenz von Bildern pro Zeiteinheit aufnehmen und an die Bildverarbeitungseinrichtung 7 übermitteln können. Die Kameras 3, 4, 5, 6 weisen jeweils einen relativ großen Öffnungswinkel auf, etwa in einem Wertebereich von 150° bis 200°. Für die Kameras 3, 4, 5, 6 können beispielsweise so genannte Fischaugenlinsen eingesetzt werden. Die Kameras 3, 4, 5, 6 können zum Beispiel CCD-Kameras oder CMOS-Kameras sein.
Die Kamera 3 erfasst einen Umgebungsbereich 9 vor dem Kraftfahrzeug 1. Die Kamera 4 erfasst einen Umgebungsbereich 10 hinter dem Kraftfahrzeug 1. Die Kamera 5 erfasst einen seitlichen Umgebungsbereich 10 links neben dem Kraftfahrzeug 1, während die Kamera 6 einen Umgebungsbereich 12 auf der rechten Seite des Kraftfahrzeugs 1 erfasst. Die Kameras 3, 4, 5, 6 stellen Bilder der jeweiligen Umgebungsbereiche 9, 10, 11, 12 bereit und übermitteln diese Bilder an die Bildverarbeitungseinrichtung 7. Wie aus 1 hervorgeht, können sich die abgebildeten Umgebungsbereiche 9, 10, 11, 12 auch gegenseitig paarweise überlappen.
Das Display 8 bzw. das Kamerasystem 2 kann zwischen unterschiedlichen Betriebsmodi geschaltet werden, wobei das Umschalten zwischen den unterschiedlichen Betriebsmodi beispielsweise durch den Fahrer selbst unter Verwendung einer entsprechenden Bedieneinrichtung erfolgt. Diese Bedieneinrichtung kann zum Beispiel in das Display 8 integriert sein, welches als Touch-Display ausgeführt sein kann. In diesen unterschiedlichen Betriebsmodi werden unterschiedliche Bilddarstellungen erzeugt, welche auf dem Display 8 angezeigt werden. Mit anderen Worten unterscheiden sich die Betriebsmodi in der Ansicht, welche auf dem Display 8 dargestellt wird.
Bezug nehmend auf 2 kann in einem ersten Betriebsmodus zum Beispiel eine Bilddarstellung 14 erzeugt werden, welche auf Bildern I3, I4, I5, I6 aller Kameras 3, 4, 5, 6 basiert. Wie aus 2 hervorgeht, empfängt die Bildverarbeitungseinrichtung 7 die Bilder I3, I4, I5, I6 aller Kameras 3, 4, 5, 6 und erzeugt die Bilddarstellung 14 aus den Bildern I3, I4, I5, I6. Diese Bilddarstellung 14 zeigt beispielsweise das Kraftfahrzeug 1 und die Umgebung 9, 10, 11, 12 aus einer Vogelperspektive und somit von einem virtuellen Blickpunkt aus, der über dem Kraftfahrzeug 1 liegt. Um diese Bilddarstellung 14 zu erzeugen, werden die Bilder I3, I4, I5, I6 jeweils einer Transformation unterzogen und dann zusammengesetzt. Für die jeweilige Transformation können beispielsweise so genannte Look-Up-Tabellen bereitgestellt werden. Für jede Kamera 3, 4, 5, 6 kann dabei eine separate Look-Up-Tabelle vorgesehen sein.
Die Bildverarbeitungseinrichtung 7 bestimmt in jedem Bild I3, I4, I5, I6 jeweils eine Region von Interesse ROI3, ROI4, ROI5, ROI6 (schraffierte Flächen in 2), d. h. eine Teilregion des jeweiligen Bilds I3, I4, I5, I6, die zur Erzeugung der Bilddarstellung 14 verwendet wird. Zur Erzeugung der Bilddarstellung 14 werden also ausschließlich die ROIs genutzt. Die ROIs stellen hier Teilregionen dar, welche den jeweiligen Umgebungsbereich 9, 10, 11, 12 des Kraftfahrzeugs 1 bis zu einer vorbestimmten Entfernung vom Kraftfahrzeug 1 zeigen.
Wie aus 2 hervorgeht, können sich die ROIs in der Bilddarstellung 14 paarweise in Überlappungsbereichen 15 überlappen.
Die Bildverarbeitungseinrichtung 7 beinhaltet im Ausführungsbeispiel auch eine Steuereinrichtung 16, welche zur Steuerung von Parametern des Kamerasystems 2 dient, welche für die Helligkeit der Bilddarstellung 14 und/oder für den Weißabgleich der Bilddarstellung 14 relevant sind. Folgende Parameter können durch die Steuereinrichtung 16 im Betrieb des Kamerasystems 2 gesteuert werden:

– die jeweilige Belichtungszeit ET3, ET4, ET5, ET6 des Bildsensors der jeweiligen Kamera 3, 4, 5, 6 – diese Steuerung kann über Leitungen 17 vorgenommen werden; und/oder
– ein Verstärkungsfaktor G3, G4, G5, G6 eines dem Bildsensor nachgeschalteten analogen Verstärkers der jeweiligen Kamera 3, 4, 5, 6 – auch dieser Parameter kann über die elektrischen Leitungen 17 gesteuert werden; und/oder
– ein digitaler Verstärkungsfaktor DG3, DG4, DG5, DG6, mit welchem die jeweiligen Bilder I3, I4, I5, I6 bei einer Bildverarbeitung durch die Bildverarbeitungseinrichtung 7 verstärkt werden – dieser Parameter wird innerhalb der Bildverarbeitungseinrichtung 7 eingestellt; und/oder
– ein Verstärkungsfaktor zumindest eines Farbkanals des jeweiligen Bilds I3, I4, I5, I6 beim Durchführen des Weißabgleichs – dies kann zum Beispiel der Verstärkungsfaktor des roten Farbkanals und/oder der Verstärkungsfaktor des grünen Farbkanals und/oder der Verstärkungsfaktor des blauen Farbkanals sein.

Die Steuerung der Belichtungszeit ET und des Verstärkungsfaktors G über die Leitungen erweist sich bei einer eingeschränkten Rechenleistung der Bildverarbeitungseinrichtung 7 als vorteilhaft. Steht mehr Rechenleistung zur Verfügung, so kann auch der digitale Verstärkungsfaktor entsprechend gesteuert werden.
Die oben genannten Parameter werden üblicherweise abhängig von den Bildpunkten der ROIs eingestellt. Da – wie aus 2 hervorgeht – die ROIs jeweils nur eine relativ kleine Teilregion des jeweiligen Bilds I3, I4, I5, I6 darstellen, können außerhalb der ROIs in den Bildern I3, I4, I5, I6 auch Informationen enthalten sein, die eine Voraussage über mögliche Änderungen der Szene innerhalb der ROIs ermöglichen.
Die Steuereinrichtung 16 analysiert nun auch Teile T3, T4, T5, T6 der jeweiligen abgebildeten Szene außerhalb der ROIs. Die Steuereinrichtung 16 überprüft, ob sich die Teile T3, T4, T5, T6 der außerhalb der ROIs abgebildeten Szene in Richtung zu der zugeordneten ROI derselben Kamera 3, 4, 5, 6 und/oder zu der ROI einer anderen Kamera 3, 4, 5, 6 bewegen und somit voraussichtlich in die zugeordnete ROI derselben Kamera 3, 4, 5, 6 und/oder in die ROI einer anderen Kamera 3, 4, 5, 6 eintreten werden. Diese Überprüfung kann anhand der Bilder I3, I4, I5, I6 erfolgen, indem optische Flussvektoren bestimmt und ausgewertet werden. Es ist aber auch möglich, dass die Steuereinrichtung 16 Odometriedaten des Kraftfahrzeugs 1 an einem Kommunikationsbus des Kraftfahrzeugs 1 – zum Beispiel am CAN-Bus – abgreift. Dann sind Bewegungsrichtung und Geschwindigkeit des Kraftfahrzeugs 1 bekannt, sodass auch die Bewegungsrichtung der abgebildeten Szene relativ zum Kamerasystem 2 und die Geschwindigkeit dieser Bewegung bekannt sind.
Wird durch die Steuereinrichtung 16 detektiert, dass sich ein Teil T3, T4, T5, T6 der außerhalb der ROIs abgebildeten Szene in Richtung zu einer ROI bewegt und somit voraussichtlich in diese ROI eintreten wird, so wird einer oder mehrere der oben genannten Parameter für diese ROI sowohl abhängig von Bildpunkten dieser ROI als auch abhängig von Bildpunkten gesteuert, die in dem Teil T3, T4, T5, T6 der Szene außerhalb der ROI liegen, der sich auf die ROI bewegt.
Für den Parameter werden dann zwei Werte bestimmt, nämlich ein erster Wert abhängig von den Bildpunkten innerhalb der ROI sowie ein zweiter Wert anhand der Bildpunkte außerhalb der ROI: P = αP2 + (α – 1)P1, wobei P einen endgültigen Wert des Parameters, P1 den ersten Wert und P2 den zweiten Wert bezeichnen und α in einem Wertebereich von null bis eins liegt. Wird als Parameter beispielsweise die oben genannte Belichtungszeit ET3, ET4, ET5, ET6 gesteuert, so werden zwei Belichtungswerte bestimmt, die nach der obigen Gleichung miteinander kombiniert werden.
Die Steuerung der Variablen α erfolgt dabei abhängig von der aktuellen Geschwindigkeit der Szene in den Bildern. Diese Geschwindigkeit kann der aktuellen Geschwindigkeit des Kraftfahrzeugs 1 entsprechen. Je größer die Geschwindigkeit ist, desto höher ist auch die Variable α, sodass auch die außerhalb der ROI liegenden Bildpunkte stärker bei der Steuerung des Parameters berücksichtigt werden.
Ein weiterer Betriebsmodus des Displays 8 wird unter Bezugnahme auf 3 näher erläutert. Hier wird auf dem Display 8 eine Bilddarstellung 14 angezeigt, welche ausschließlich auf den Bildern einer einzigen Kamera basiert, beispielsweise der vorderen Kamera 3. Diese Situation entspricht auch einem Kamerasystem 2, bei welchem lediglich eine einzige Kamera eingesetzt wird. Die Kamera 3 liefert die Bilder I3 an die Bildverarbeitungseinrichtung 7. Die Bildverarbeitungseinrichtung 7 bestimmt die ROI 3, welche zur Bereitstellung der Bilddarstellung 14 genutzt wird. Bewegt sich das Kraftfahrzeug 1 in Fahrzeuglängsrichtung nach vorne, so bewegt sich auch ein Teil T3 der außerhalb der ROI 3 abgebildeten Szene in Richtung zur ROI3. Dies wird durch die Steuereinrichtung 16 entsprechend detektiert, und die Belichtungszeit ET3 und/oder der Verstärkungsfaktor G3 und/oder der digitale Verstärkungsfaktor DG3 und/oder der Verstärkungsfaktor des zumindest einen Farbkanals des Weißabgleichs wird sowohl anhand der Bildpunkte der ROI3 als auch anhand der Bildpunkte des Teils T3 der Szene gesteuert.
Insgesamt wird also ein Verfahren bereitgestellt, bei welchem Änderungen der Szene in der angezeigten Bilddarstellung 14 bereits im Voraus ermittelt und die Parameter des Kamerasystems 2 bereits im Voraus so gesteuert werden können, dass diese plötzlichen Änderungen der Szene zur keiner sprunghaften Änderung der Bilddarstellung 14 führen. Dadurch, dass zur Steuerung der Parameter auch die Bildpunkte außerhalb der ROI berücksichtigt werden, kann eine gleichmäßige Änderung der Szene auf dem Display 8 ohne Sprünge ermöglicht werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2011/0156887 [0002]
US 2011/0157362 A1 [0006]
EP 1591316 B1 [0007]

Claims

Verfahren zum Betreiben eines Kamerasystems (2) eines Kraftfahrzeugs (1), bei welchem mittels zumindest einer Kamera (3, 4, 5, 6) des Kamerasystems (2) Bilder (I3, I4, I5, I6) eines Umgebungsbereichs (9, 10, 11, 12) des Kraftfahrzeugs (1) bereitgestellt werden und mittels einer Bildverarbeitungseinrichtung (7) des Kamerasystems (2) zumindest eine Region von Interesse (ROI) in den Bildern (I3, I4, I5, I6) bestimmt wird und aus der zumindest einen Region von Interesse (ROI) eine Bilddarstellung (14) zur Anzeige auf einem Display (8) bereitgestellt wird, wobei durch eine Steuereinrichtung (16) des Kamerasystems (2) zumindest ein für eine Helligkeit und/oder für einen Weißabgleich der Bilddarstellung (14) relevanter Parameter (ET, G, DG) abhängig von Bildpunkten der Region von Interesse (ROI) eines aktuellen Bilds (I3, I4, I5, I6) eingestellt wird, gekennzeichnet durch: – Ermitteln einer aktuellen Bewegungsrichtung einer in den Bildern (I3, I4, I5, I6) abgebildeten Szene relativ zum Kamerasystem (2), – Überprüfen abhängig von der Bewegungsrichtung, ob sich ein außerhalb der Region von Interesse (ROI) liegender Teil (T3, T4, T5, T6) der Szene in Richtung zur Region von Interesse (ROI) bewegt, und – falls ja: Einstellen des für die Helligkeit und/oder für den Weißabgleich relevanten Parameters (ET, G, DG) abhängig von den Bildpunkten der Region von Interesse (ROI) sowie abhängig von Bildpunkten des außerhalb der Region von Interesse (ROI) liegenden Teils (T3, T4, T5, T6) der Szene durch die Steuereinrichtung (16).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für den zumindest einen Parameter (ET, G, DG) ein erster Wert (P1) abhängig von den Bildpunkten der Region von Interesse (ROI) und ein zweiter Wert (P2) abhängig von den Bildpunkten des außerhalb der Region von Interesse (ROI) liegenden Teils (T3, T4, T5, T6) der Szene bestimmt werden, wobei der erste Wert (P1) und der zweite Wert (P2) zu einem endgültigen Wert (P) des Parameters (ET, G, DG) miteinander kombiniert werden.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Bestimmung des endgültigen Werts (P) des Parameters (ET, G, DG) anhand der folgenden Gleichung erfolgt: P = αP2 + (α – 1)P1, wobei P den endgültigen Wert des Parameters (ET, G, DG), P1 den ersten Wert und P2 den zweiten Wert bezeichnen und α in einem Wertebereich von 0 bis 1 liegt.
Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass eine Geschwindigkeit der Bewegung ermittelt wird und das Kombinieren des ersten Werts (P1) und des zweiten Werts (P2) abhängig von der Geschwindigkeit erfolgt.
Verfahren nach Anspruch 3 und Anspruch 4, dadurch gekennzeichnet, dass α abhängig von der Geschwindigkeit, insbesondere proportional zur Geschwindigkeit, im Betrieb des Kamerasystems (2) eingestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest einer der folgenden Parameter (ET, G, DG) abhängig von den Bildpunkten der Region von Interesse (ROI) sowie abhängig von den Bildpunkten des außerhalb der Region von Interesse (ROI) liegenden Teils (T3, T4, T5, T6) der Szene eingestellt wird: – eine Belichtungszeit (ET) eines Bildsensors der Kamera (3, 4, 5, 6) und/oder – ein Verstärkungsfaktor (G) eines, insbesondere analogen, Bildverstärkers der Kamera (3, 4, 5, 6) und/oder – ein Verstärkungsfaktor (DG) einer digitalen Verstärkung bei einer Nachverarbeitung der Bilder (I3, I4, I5, I6) mittels der Bildverarbeitungseinrichtung (7) und/oder – ein Verstärkungsfaktor zumindest eines Farbkanals der Bilder (I3, I4, I5, I6) beim Durchführen des Weißabgleichs.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch zumindest zwei Kameras (3, 4, 5, 6) des Kamerasystems (2) jeweils Bilder (I3, I4, I5, I6) eines Umgebungsbereichs (9, 10, 11, 12) des Kraftfahrzeugs (1) bereitgestellt werden und mittels der Bildverarbeitungseinrichtung (7) jeweils zumindest eine Region von Interesse (ROI) in den Bildern (I3, I4, I5, I6) der jeweiligen Kamera (3, 4, 5, 6) bestimmt wird und die Bilddarstellung (14) zur Anzeige auf dem Display (8) aus den jeweiligen Regionen von Interesse (ROI) der Kameras (3, 4, 5, 6) erzeugt wird, wobei der für die Helligkeit und/oder für den Weißabgleich relevante Parameter (ET, G, DG) für eine erste der Kameras (3, 4, 5, 6) abhängig von den Bildpunkten der Region von Interesse (ROI) dieser ersten Kamera (3, 4, 5, 6) sowie abhängig von Bildpunkten des außerhalb der Region von Interesse (ROI) liegenden Teils (T3, T4, T5, T6) der Szene einer zweiten der Kameras (3, 4, 5, 6) eingestellt wird, falls sich dieser Teil (T3, T4, T5, T6) der Szene in Richtung zur Region von Interesse (ROI) der ersten Kamera (3, 4, 5, 6) bewegt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bewegungsrichtung: – durch die Bildverarbeitungseinrichtung (7) anhand der Bilder (I3, I4, I5, I6) bestimmt wird und/oder – durch die Steuereinrichtung (16) anhand von Odometriedaten des Kraftfahrzeugs (1) bestimmt wird, die an einem Kommunikationsbus des Kraftfahrzeugs (1) abgegriffen werden.
Kamerasystem (2) für ein Kraftfahrzeug (1), mit zumindest einer Kamera (3, 4, 5, 6) zum Bereitstellen von Bildern (I3, I4, I5, I6) eines Umgebungsbereichs (9, 10, 11, 12) des Kraftfahrzeugs (1), mit einer Bildverarbeitungseinrichtung (7), die dazu ausgelegt ist, zumindest eine Region von Interesse (ROI) in den Bildern (I3, I4, I5, I6) zu bestimmen und aus der zumindest einen Region von Interesse (ROI) eine Bilddarstellung (14) zur Anzeige auf einem Display (8) bereitzustellen, und mit einer Steuereinrichtung (16), die dazu ausgelegt ist, zumindest einen für eine Helligkeit und/oder für einen Weißabgleich der Bilddarstellung (14) relevanten Parameter (ET, G, DG) des Kamerasystems (2) abhängig von Bildpunkten der Region von Interesse (ROI) eines aktuellen Bilds (I3, I4, I5, I6) einzustellen, dadurch gekennzeichnet, dass die Steuereinrichtung (16) dazu ausgelegt ist, – eine aktuelle Bewegungsrichtung einer in den Bildern (I3, I4, I5, I6) abgebildeten Szene relativ zum Kamerasystem (2) zu ermitteln, – abhängig von der Bewegungsrichtung zu überprüfen, ob sich ein außerhalb der Region von Interesse (ROI) liegender Teil (T3, T4, T5, T6) der Szene in Richtung zur Region von Interesse (ROI) bewegt, und – falls ja: den für die Helligkeit und/oder für den Weißabgleich relevanten Parameter (ET, G, DG) abhängig von den Bildpunkten der Region von Interesse (ROI) sowie abhängig von Bildpunkten des außerhalb der Region von Interesse (ROI) liegenden Teils (T3, T4, T5, T6) der Szene einzustellen.
Kraftfahrzeug (1) mit einem Kamerasystem (2) nach Anspruch 9.