-
Die Erfindung betrifft ein Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, bei welchem ein Bild eines Umgebungsbereichs des Kraftfahrzeugs mittels einer Kamera des Kamerasystems bereitgestellt wird. Das Bild wird dann zu einer Bilddarstellung unter Verwendung von Transformationsdaten mittels einer Bildverarbeitungseinrichtung transformiert, wobei beim Transformieren des Bilds Kameraparameter der Kamera berücksichtigt werden. Die Bilddarstellung wird dann auf einem Display des Kamerasystems angezeigt. Die Erfindung betrifft außerdem ein Kamerasystem, welches zum Durchführen eines solchen Verfahrens ausgebildet ist, sowie ein Kraftfahrzeug mit einem solchen Kamerasystem.
-
Kamerasysteme für Kraftfahrzeuge sind bereits aus dem Stand der Technik bekannt. In einem Kraftfahrzeug können bekanntlich mehrere Kameras eingesetzt werden, wobei es heutzutage mehr und mehr üblich wird, für ein Kamerasystem eines Fahrzeugs eine Kameraanordnung mit wenigstens zwei Kameras zu verwenden, welche jeweils einen Umgebungsbereich des Kraftfahrzeugs erfassen. Es können beispielsweise vier Kameras eingesetzt werden, die die gesamte Umgebung um das Kraftfahrzeug herum erfassen. Aus den Bildern aller Kameras kann beispielsweise eine Gesamtbilddarstellung bereitgestellt werden, wie zum Beispiel das so genannte „Bird Eye View“. Diese Bilddarstellung repräsentiert eine Draufsicht auf das Kraftfahrzeug sowie seine Umgebung aus einer Vogelperspektive und somit beispielsweise von einem Referenzsichtpunkt direkt über dem Kraftfahrzeug aus. Die Bereitstellung einer solchen Umgebungsdarstellung aus den Bildern mehrerer Kameras ist beispielsweise aus dem Dokument
US 2011 / 0 156 887 A1 ,
JP 2009-253 571 A oder
US 2009 /0 160 940 A1 bekannt.
-
Bei einem Kamerasystem eines Kraftfahrzeugs kann das Display üblicherweise zwischen unterschiedlichen Betriebsmodi geschaltet werden, die sich bezüglich der angezeigten Bilddarstellung und somit bezüglich der Ansicht untereinander unterscheiden. Der Fahrer des Kraftfahrzeugs kann hier zwischen unterschiedlichen Ansichten auswählen, die für verschiedene Straßensituationen konzipiert und optimiert sind. Neben einem Betriebsmodus, in welchem das oben genannte „Bird Eye View“ als Bilddarstellung angezeigt wird, kann das Display beispielsweise auch in einen Cross-Traffic-Betriebsmodus geschaltet werden, in welchem die so genannte Kreuzungsdarstellung (junction view) angezeigt wird, d.h. eine Ansicht, welche den Querverkehr zeigt. Eine solche Kreuzungsdarstellung kann beispielsweise anhand von Bildern einer Kamera bereitgestellt werden, die an der Front - beispielsweise am vorderen Stoßfänger - oder aber im Heckbereich - beispielsweise am hinteren Stoßfänger oder an einer Heckklappe - angeordnet ist und einen relativ breiten Öffnungswinkel von 160° bis 200° aufweist. In einem noch weiteren Betriebsmodus kann auf dem Display eine Bilddarstellung angezeigt werden, welche aus den Bildern einer Rückfahrkamera (rear view camera) erzeugt wird und den Umgebungsbereich hinter dem Kraftfahrzeug darstellt.
-
Unabhängig davon, welcher Betriebsmodus des Displays aktuell verwendet wird, sowie unabhängig von der verwendeten Anzahl der Kameras müssen die Rohbilder der Kamera in das Koordinatensystem des Displays transformiert bzw. abgebildet (mapped) werden. Üblicherweise werden die Rohbilder von der Kamera an eine zentrale elektronische Bildverarbeitungseinrichtung übermittelt, welche die Bilder digital verarbeitet. Werden mehrere Kameras eingesetzt, so empfängt diese zentrale Bildverarbeitungseinrichtung die digitalen Bilddaten aller Kameras. Um die finale Bilddarstellung zur Anzeige auf dem Display bereitzustellen, werden die Bilder von dem Koordinatensystem der jeweiligen Kamera in das Koordinatensystem des Displays transformiert. Zu diesem Zwecke werden im Stand der Technik Transformationsdaten genutzt, welche die Transformation des Rohbilds definieren. Diese Transformationsdaten liegen beispielsweise in Form einer so genannten Look-Up-Tabelle vor und berücksichtigen auch die Kameraparameter, welche insbesondere die Position der Befestigung der Kamera am Fahrzeug sowie die Ausrichtung am Fahrzeug, wie auch die Eigenschaften der verwendeten Linse umfassen. Die Position am Fahrzeug ist dabei durch drei Koordinatenwerte (x, y, z) definiert, welche die eindeutige Position der Kamera bezüglich der Fahrzeugkarosserie angeben. Die Ausrichtung der Kamera am Fahrzeug ist wiederum durch drei Winkelwerte vorgegeben, welche die Ausrichtungswinkel der Kamera um die drei Fahrzeugachsen x, y, z angeben. Die Eigenschaften der Linse definieren beispielsweise eine durch die Linse verursachte Verzerrung der Bilder und sollten deshalb berücksichtigt werden, weil üblicherweise so genannte Fischaugenlinsen eingesetzt werden, die eine relativ große Verzerrung der Bilder verursachen. Diese Verzerrung wird im Rahmen der genannten Transformation korrigiert.
-
Bei der Erzeugung der Transformationsdaten (Look-Up-Tabelle) werden also einerseits die vorgegebenen und bekannten Kameraparameter berücksichtigt. Andererseits wird durch die Transformationsdaten auch der so genannte „Viewport“ definiert, d.h. eine Teilregion des Bilds, welche zum Erzeugen der Bilddarstellung für das Display verwendet wird. Mit anderen Worten wird für die Bilddarstellung, welche auf dem Display angezeigt werden soll, lediglich ein Ausschnitt des Rohbilds verwendet. Dieser Viewport ist abhängig von dem aktuell aktivierten Betriebsmodus des Displays und somit abhängig von der aktuellen Ansicht, die auf dem Display angezeigt wird.
-
Eine Aufgabe der Erfindung besteht darin, ein gegenüber dem Stand der Technik verbessertes Verfahren, ein Kamerasystem sowie ein Kraftfahrzeug bereitzustellen.
-
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.
-
Ein erfindungsgemäßes Verfahren dient zum Betreiben eines Kamerasystems eines Kraftfahrzeugs. Zumindest eine Kamera des Kamerasystems stellt ein Bild eines Umgebungsbereichs des Kraftfahrzeugs bereit. Das Bild wird mittels einer digitalen Bildverarbeitungseinrichtung zu einer Bilddarstellung transformiert, welche auf einem Display des Kamerasystems angezeigt wird. Die Transformation des Bilds erfolgt unter Verwendung von Transformationsdaten, wobei beim Transformieren des Bilds vorgegebene Kameraparameter der Kamera berücksichtigt werden. Erfindungsgemäß ist vorgesehen, dass mittels zumindest eines Sensors des Kraftfahrzeugs ein aktuelles Fahrzeugniveau und somit die aktuelle Fahrwerkshöhe erfasst wird und die Transformationsdaten abhängig von dem gemessenen Fahrzeugniveau im Betrieb des Kamerasystems erzeugt werden.
-
Die Erfindung basiert auf der Erkenntnis, dass zwar die Position und die Ausrichtung der Kamera relativ zur Fahrzeugkarosserie fest vorgegeben und somit bekannt ist, dass sich jedoch die Position und die Ausrichtung der Kamera relativ zum Untergrund bzw. zur Straße, auf der sich das Kraftfahrzeug befindet, über die Zeit ändern kann. Insbesondere die Höhe der Kamera über dem Boden sowie die Ausrichtung der Kamera können durch eine Vielzahl von Faktoren beeinflusst werden, wie beispielsweise durch die Beladung des Kofferraums des Fahrzeugs, durch die Anzahl der Fahrzeuginsassen, durch ungleichmäßige Verteilung der Gewichte im Fahrzeug, durch das Ankuppeln eines Anhängers oder auch während einer Geländefahrt. Die Erfindung basiert ferner auf der Erkenntnis, dass diese Änderung des Fahrzeugniveaus auch eine Änderung der aktuellen Ansicht auf dem Display verursacht. Dies führt wiederum dazu, dass die Fahrzeugumgebung auf dem Display fehlerhaft - beispielsweise aus einer anderen Perspektive - angezeigt wird und somit zum Beispiel Hindernisse nicht mehr oder fehlerhaft dargestellt werden, die sich in der Umgebung des Fahrzeugs befinden. Bei einem Multikamerasystem führt die Veränderung des Fahrzeugniveaus zu Fehlern bei der Zusammensetzung der Bilder unterschiedlicher Kameras. In diesem Zusammenhang können insbesondere in dem Überlappungsbereich zwischen Bildern unterschiedlicher Kameras Sprünge oder doppelte Bildstrukturen entstehen, wenn die Bilder in dem Überlappungsbereich nicht korrekt aneinander angepasst werden. Die Erfindung beruht weiterhin auf der Erkenntnis, dass die Nachteile des Stands der Technik dadurch umgangen werden können, dass das aktuelle Fahrzeugniveau mittels zumindest eines Sensors gemessen und bei der Erzeugung der Transformationsdaten (insbesondere der so genannten Look-Up-Tabelle) berücksichtigt wird. Auf diese Art und Weise können sämtliche Änderungen des Fahrzeugniveaus kompensiert werden, und es kann stets die gewünschte Bilddarstellung auf dem Display angezeigt werden, d.h. stets die gleiche Ansicht bezüglich des Bodens.
-
Unter dem Begriff „Fahrzeugniveau“ wird vorliegend vorzugsweise die Bodenfreiheit („ride height“ oder „ground clearance“) verstanden. Aus dem aktuellen Wert des Fahrzeugniveaus kann dann zumindest auf die aktuelle Höhe der Kamera über dem Boden rückgeschlossen werden, und die aktuelle Höhe der Kamera über dem Boden kann bei der Erzeugung der Transformationsdaten berücksichtigt werden.
-
Das Fahrzeugniveau kann dabei beispielsweise in einem Stoßdämpfer des Kraftfahrzeugs gemessen werden, d.h. einem Bauteil, welches die Schwingungen der gefederten Massen abklingen lässt. Mit dem Sensor kann dabei beispielsweise die relative Position des Kolbens bezüglich des Zylinders gemessen werden, was dann Rückschlüsse auf das tatsächliche Fahrzeugniveau und die Höhe der Kamera über dem Boden zulässt. Die Erfindung ist jedoch nicht auf die Anordnung des Sensors im Stoßdämpfer beschränkt; der zumindest eine Sensor kann grundsätzlich an beliebiger Position angeordnet sein, welche die Erfassung des Fahrzeugniveaus ermöglicht.
-
Bevorzugt werden mindestens zwei, insbesondere mindestens drei, bevorzugt vier, solche Sensoren verwendet, die in den jeweiligen Eckbereichen des Kraftfahrzeugs jeweils das Fahrzeugniveau erfassen. Somit können ungleichmäßige Verteilungen der Beladung im Kraftfahrzeug detektiert werden, sodass auch die aktuelle Ausrichtung der Kamera um alle Fahrzeugachsen bestimmt und bei den Transformationsdaten berücksichtigt werden kann.
-
Die Transformationsdaten liegen vorzugsweise in Form einer Look-Up-Tabelle vor, welche eine Transformationskarte (transformation map) darstellt, die auf das Rohbild der Kamera angewendet wird, um die Bildpunkte des Bilds zu verändern und in das Koordinatensystem des Displays abzubilden (mapping). Mit anderen Worten stellen die Transformationsdaten also eine Projektionsfunktion bzw. Abbildungsfunktion dar, mittels welcher das Bild in das Koordinatensystem des Displays transformiert wird. Diese Transformationsdaten berücksichtigen dabei die Kameraparameter, welche bekannt sind und beispielsweise in einem Speicher der Bildverarbeitungseinrichtung abgelegt sein können. Die Kameraparameter umfassen insbesondere die Eigenschaften der Linse der Kamera, die Position der Kamera relativ zur Fahrzeugkarosserie - diese Position kann durch drei Koordinatenwerte x, y, z, d.h. in Fahrzeuglängsrichtung, in Fahrzeugquerrichtung und in Fahrzeughochrichtung, bestimmt sein - sowie die Ausrichtung der Kamera relativ zur Fahrzeugkarosserie - die Ausrichtung ist dann durch drei Winkelwerte definiert, nämlich einen Winkel um die Fahrzeuglängsachse, einen Winkel um die Fahrzeugquerachse sowie einen Winkel um die Fahrzeughochachse. Einerseits können die Kameraparameter also die Eigenschaften der Linse und somit die optischen Eigenschaften der Kamera beschreiben; andererseits beinhalten die Kameraparameter auch die feste Einbaulage der Kamera am Fahrzeug.
-
Die Bildverarbeitungseinrichtung ist vorzugsweise eine von der Kamera separate Komponente. Die Bildverarbeitungseinrichtung kann zum Beispiel durch ein Steuergerät gebildet sein, welches einen digitalen Signalprozessor beinhalten kann. Der Signalprozessor dient dann zum Durchführen der Transformation des Bilds und zum Erzeugen der Bilddarstellung.
-
Das „Erzeugen“ der Transformationsdaten bedeutet vorliegend insbesondere, dass in der Bildverarbeitungseinrichtung abgelegte Vorlagedaten verwendet und in Abhängigkeit von dem gemessenen Fahrzeugniveau im Betrieb des Kamerasystems angepasst oder vervollständigt werden. Beispielsweise kann eine Look-Up-Tabelle abgelegt sein, welche dann abhängig von dem gemessenen Fahrzeugniveau aktualisiert oder vervollständigt wird. Es braucht somit vorzugsweise nicht die gesamte Look-Up-Tabelle erzeugt werden, sondern lediglich derjenige Teil, der abhängig von der Höhe der Kamera über dem Boden und abhängig von der Ausrichtung der Kamera ist.
-
In einer Ausführungsform ist vorgesehen, dass zur Erzeugung der Bilddarstellung eine Teilregion (insbesondere ausschließlich eine Teilregion) des Bilds verwendet wird und die Teilregion durch die Transformationsdaten definiert wird. Das Erzeugen der Transformationsdaten kann dann umfassen, dass die Teilregion des Bilds abhängig von dem gemessenen Fahrzeugniveau festgelegt wird. Unter der „Teilregion“ wird dabei insbesondere der Viewport verstanden, d.h. ein Bildausschnitt, welcher zur Erzeugung der Bilddarstellung für das Display verwendet wird. Dieser Viewport wird bei dieser Ausführungsform in Abhängigkeit von dem gemessenen Fahrzeugniveau bestimmt. Diese Ausführungsform hat den Vorteil, dass auf dem Display stets der gleiche Umgebungsbereich des Kraftfahrzeugs angezeigt werden kann, und dies unabhängig von dem aktuellen Fahrzeugniveau. Außerdem ermöglicht diese Ausführungsform ein korrektes und sprungfreies Zusammensetzen der Bilder unterschiedlicher Kameras, was sich insbesondere bei dem oben genannten „Bird Eye View“ als besonders vorteilhaft erweist.
-
Das Kamerasystem kann auch mehrere Kameras beinhalten: In einer Ausführungsform können zumindest zwei Kameras eingesetzt werden, welche jeweils ein Bild eines Umgebungsbereichs des Kraftfahrzeugs bereitstellen. Zum Erzeugen der Bilddarstellung (beispielsweise des „Bird Eye View“) können dann jeweilige Teilregionen (Viewports) der Bilder derart miteinander kombiniert werden, dass sich die Teilregionen in einem Überlappungsbereich gegenseitig überlappen. Der Überlappungsbereich der jeweiligen Teilregionen kann durch die Transformationsdaten definiert werden, und das Erzeugen der Transformationsdaten kann umfassen, dass der Überlappungsbereich der jeweiligen Teilregionen abhängig von dem Fahrzeugniveau bestimmt wird. Die Übergangsbereiche zwischen den Bildern unterschiedlicher Kameras können somit abhängig von dem gemessenen Fahrzeugniveau kompensiert werden, und es kann eine Bilddarstellung auf dem Display bereitgestellt werden, welche auf den Bildern unterschiedlicher Kameras beruht und keine Sprünge und keine doppelten Bildstrukturen in den Übergangsbereichen aufweist.
-
In einer Ausführungsform ist vorgesehen, dass ein Aufhängungssystem (suspension system) des Kraftfahrzeugs zwischen zumindest zwei vorbestimmten Aufhängungsmodi geschaltet wird, die beispielsweise durch den Fahrer selbst ausgewählt werden können. Beispielsweise können folgende Aufhängungsmodi vorgesehen sein, in denen das Kraftfahrzeug unterschiedliche Niveaus aufweist, die werkseitig vorgegeben sind: ein Standardmodus mit einem mittleren Fahrzeugniveau; ein Sportmodus mit einem geringen Fahrzeugniveau sowie ein Offroad-Modus mit einem größeren Fahrzeugniveau. In dieser Ausführungsform können die Transformationsdaten für die Transformation des Bilds separat für jeden Aufhängungsmodus erzeugt werden. Die Transformation des Bilds zur Bilddarstellung kann somit in jedem Aufhängungsmodus des Kraftfahrzeugs besonders präzise durchgeführt werden. Zwar ist das grundsätzliche Fahrzeugniveau in jedem Aufhängungsmodus fest vorgegeben, jedoch wird das Fahrzeugniveau (wenn keine Niveauregulierung vorhanden ist) auch durch eine Vielzahl von Faktoren beeinflusst, wie insbesondere durch die Beladung des Kraftfahrzeugs und dergleichen.
-
Der aktuell aktivierte Aufhängungsmodus kann durch die Bildverarbeitungseinrichtung erfasst werden. Für diesen aktuell aktivierten Aufhängungsmodus können die Transformationsdaten dann abhängig von dem gemessenen Fahrzeugniveau erzeugt werden. Diese einmal erzeugten Transformationsdaten können dann wieder für den gleichen Aufhängungsmodus verwendet werden, wenn das Aufhängungssystem in einen anderen Modus und dann wieder in den ursprünglichen Modus umgeschaltet wird.
-
Es erweist sich als vorteilhaft, wenn zusätzlich zu den Transformationsdaten für den aktuell aktivierten Aufhängungsmodus separat auch Transformationsdaten für zumindest einen anderen (nicht aktivierten) Aufhängungsmodus des Aufhängungssystems abhängig von den Transformationsdaten des aktuellen Aufhängungsmodus und/oder abhängig von dem gemessenen Fahrzeugniveau erzeugt werden. Die separaten Transformationsdaten können also quasi gleichzeitig für alle Aufhängungsmodi erzeugt werden. Dies kann beispielsweise beim Aktivieren der Zündung des Kraftfahrzeugs vorgenommen werden, sodass bereits zu diesem Zeitpunkt die Transformationsdaten für alle Aufhängungsmodi bereitgestellt werden. Wird dann das Aufhängungssystem in einen anderen Modus umgeschaltet, so kann direkt auf die bereits erzeugten Transformationsdaten zugegriffen werden, sodass direkt nach dem Umschalten des Aufhängungssystems eine korrekte Bilddarstellung angezeigt werden kann.
-
Die Erzeugung der Transformationsdaten für die anderen, aktuell nicht aktivierten Aufhängungsmodi des Aufhängungssystems wird dadurch ermöglicht, dass das Fahrzeugniveau für alle Aufhängungsmodi grundsätzlich werkseitig vordefiniert ist und somit die Differenz des Fahrzeugniveaus zwischen den jeweiligen Aufhängungsmodi bekannt ist. Wird das aktuelle Fahrzeugniveau für den aktuell aktivierten Aufhängungsmodus gemessen, so kann anhand dieser Messwerte auch auf das Fahrzeugniveau in den anderen Aufhängungsmodi rückgeschlossen werden.
-
Wie bereits erwähnt, kann durch die Bildverarbeitungseinrichtung eine Inbetriebnahme einer Antriebsmaschine, d.h. einer Momentenquelle, des Kraftfahrzeugs oder ein Aktivieren der Zündung des Kraftfahrzeugs erfasst werden, und die Transformationsdaten können mit der Inbetriebnahme der Antriebsmaschine oder mit dem Aktivieren der Zündung erzeugt werden, insbesondere mit jeder Inbetriebnahme der Antriebsmaschine oder jedes Mal, wenn die Zündung aktiviert wird. Zu diesem Zeitpunkt werden vorzugsweise die Transformationsdaten für alle Aufhängungsmodi des Kraftfahrzeugs generiert. Das Erzeugen der Transformationsdaten zum Zeitpunkt der Inbetriebnahme der Antriebsmaschine oder der Zündung hat den Vorteil, dass die Transformationsdaten somit für die gesamte Zeitdauer des aktuellen Betriebs des Kraftfahrzeugs zur Verfügung stehen, insbesondere für alle Aufhängungsmodi des Aufhängungssystems. Im Betrieb des Kraftfahrzeugs brauchen dann beispielsweise keine Transformationsdaten mehr generiert zu werden, sodass selbst beim Umschalten zwischen unterschiedlichen Aufhängungsmodi die Transformationsdaten für den jeweiligen Aufhängungsmodus bereits verfügbar sind.
-
Um die Transformationsdaten bei der Inbetriebnahme der Antriebsmaschine oder bereits beim Aktivieren der Zündung bereitstellen zu können, kann vorgesehen sein, dass bereits vor der Inbetriebnahme der Antriebsmaschine oder vor dem Aktivieren der Zündung das aktuelle Fahrzeugniveau - insbesondere fortlaufend - erfasst wird und die erfassten Messwerte des Fahrzeugniveaus in der Bildverarbeitungseinrichtung für die anschließende Erzeugung der Transformationsdaten abgelegt werden. Durch das Erfassen des Fahrzeugniveaus in dieser spezifischen Betriebsphase des Kraftfahrzeugs können jegliche Änderungen in der Fahrzeughöhe erfasst werden, die beispielsweise durch eine zusätzliche Kofferraumbeladung verursacht werden, und es kann auch gewährleistet werden, dass die Transformationsdaten besonders rasch bereits bei der Aktivierung der Zündung oder bei der Inbetriebnahme der Antriebsmaschine erzeugt werden können.
-
Optional kann vorgesehen sein, dass in einem vorbestimmten Aufhängungsmodus - insbesondere in dem Off-Road-Modus - das Fahrzeugniveau fortlaufend während der Fahrt, beispielsweise in vorbestimmten Zeitabständen, erfasst wird und die Transformationsdaten auch fortlaufend während der Fahrt, beispielsweise auch in vorbestimmten Zeitabständen, jeweils neu anhand der aktuellen Messwerte des Fahrzeugniveaus generiert werden. Insbesondere im unebenen Gelände können somit die häufigen Änderungen des Fahrzeugniveaus schnell kompensiert werden, indem das aktuelle Fahrzeugniveau und somit auch die aktuelle Höhe und/oder die Ausrichtung der Kamera während der Fahrt erfasst und die Transformationsdaten generiert werden.
-
Das Display bzw. das Kamerasystem kann zwischen zumindest zwei Betriebsmodi umgeschaltet werden, die sich bezüglich der Bilddarstellung und somit bezüglich der auf dem Display angezeigten Ansicht untereinander unterscheiden. Es kann somit beispielsweise vorkommen, dass der Betriebsmodus des Displays und somit die Ansicht auf dem Display durch den Fahrer selbst geändert wird. Um in jedem Betriebsmodus des Displays jeweils eine optimale Bilddarstellung auf dem Display bereitstellen zu können, können die Transformationsdaten für die Transformation des Bilds separat für jeden Betriebsmodus des Displays erzeugt werden. Die Transformationsdaten können somit individuell und spezifisch für jeden der Betriebsmodi des Displays bereitgestellt werden. Umfasst das Kamerasystem mehrere Kameras, so kann auch vorgesehen sein, dass die Transformationsdaten separat für jede Kamera und für jeden Betriebsmodus des Displays erzeugt werden. So können beispielsweise in einem Betriebsmodus, in welchem das „Bird Eye View“ auf dem Display erzeugt wird, andere Transformationsdaten für die Rückfahrkamera erzeugt werden als in einem Betriebsmodus, in welchem die erzeugte Bilddarstellung auf dem Display ausschließlich auf den Bildern der Rückfahrkamera basiert. Abhängig von dem Betriebsmodus des Displays können somit unterschiedliche Transformationsdaten für ein und dieselbe Kamera erzeugt werden.
-
Vorzugsweise wird ein Umschalten des Displays von einem bisherigen Betriebsmodus in einen anderen, aktuellen Betriebsmodus durch die Bildverarbeitungseinrichtung erfasst. Die Transformationsdaten für diesen aktuellen Betriebsmodus können dann direkt beim Umschalten und somit aufgrund des Umschaltens des Displays in den aktuellen Betriebsmodus erzeugt werden. Dies bedeutet beispielsweise, dass bei der Inbetriebnahme der Antriebsmaschine oder bei dem Aktivieren der Zündung die Transformationsdaten ausschließlich für den aktuell aktivierten Betriebsmodus des Displays, und insbesondere für alle Aufhängungsmodi des Aufhängungssystems, erzeugt werden. Wird das Display dann im Betrieb des Kraftfahrzeugs in einen anderen Betriebsmodus umgeschaltet, so werden die Transformationsdaten auch für diesen neuen Betriebsmodus erzeugt, insbesondere auch für alle Aufhängungsmodi. Zum Erzeugen der Transformationsdaten für den neuen Betriebsmodus des Displays können dabei die Messwerte des Fahrzeugniveaus genutzt werden, die entweder zuvor vor der Inbetriebnahme der Antriebsmaschine oder vor dem Aktivieren der Zündung erfasst wurden oder aber aktuell mittels des zumindest einen Sensors erfasst werden.
-
Die Generierung der Transformationsdaten beim Umschalten des Displays hat den Vorteil, dass die Rechenleistung der Bildverarbeitungseinrichtung optimal ausgenutzt werden kann, weil die Transformationsdaten nicht gleichzeitig für alle Betriebsmodi des Displays und alle Aufhängungsmodi des Fahrzeugs generiert werden müssen und die Generierung der Transformationsdaten somit über die Zeit verteilt werden kann. Es wird somit außerdem auch eine unnötige Erzeugung von Transformationsdaten für denjenigen Betriebsmodus des Displays verhindert, welcher im aktuellen Betrieb des Kraftfahrzeugs überhaupt nicht aktiviert wird. Somit kann die Rechenleistung gespart werden.
-
Wie bereits ausgeführt, können auch mehrere Sensoren eingesetzt werden, die an dem Kraftfahrzeug verteilt angeordnet sind (zum Beispiel in den jeweiligen Stoßdämpfern) und jeweils das Fahrzeugniveau an dem jeweiligen Einbauort erfassen. Sind mehrere Sensoren vorhanden, so kann anhand von Messwerten der Sensoren auch die genaue aktuelle Position und/oder die aktuelle Ausrichtung der Kamera relativ zum Untergrund bzw. Boden, auf welchem sich das Kraftfahrzeug befindet, bestimmt werden. Die Transformationsdaten können dann auf der Grundlage der so ermittelten Position und/oder Ausrichtung der Kamera erzeugt werden. Ist die genaue Position und/oder die Ausrichtung der Kamera bekannt, so kann beispielsweise der Viewport des Bilds derart optimal definiert werden, dass auf dem Display die gewünschte Ansicht erzeugt werden kann.
-
Optional können bei der Bestimmung der aktuellen Position und/oder Ausrichtung der Kamera auch Messwerte eines Sturzsensors (tilt sensor) zumindest eines Rades des Kraftfahrzeugs berücksichtigt werden, was die Genauigkeit weiterhin verbessert.
-
Es kann auch vorgesehen sein, dass basierend auf der Überwachung der Fahrzeugaufhängungshöhen (Fahrzeugniveau) ein Verhalten des Aufhängungssystems in Bezug auf das Fahrzeugniveau durch die Bildverarbeitungseinrichtung vorhergesagt werden kann. Wenn die Aufhängung zum Beispiel das Fahrzeugmindesthöhenniveau (aufgrund des Dämpferverhaltens) erreicht, kann die Bildverarbeitungsvorrichtung voraussagen, dass das Aufhängungssystem beginnen wird, sich wieder zurück hoch zu bewegen, hierbei das Fahrzeughöhenniveau erhöhend. Diese Vorhersage kann auf einem Aufhängungsverhaltenmodell basieren. In Abhängigkeit von dieser Vorhersage können die Transformationsdaten angepasst werden.
-
Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug, umfassend zumindest eine Kamera zum Bereitstellen eines Bilds eines Umgebungsbereichs des Kraftfahrzeugs, sowie umfassend eine Bildverarbeitungseinrichtung zum Transformieren des Bilds zu einer Bilddarstellung unter Verwendung von Transformationsdaten sowie unter Berücksichtigung von Kameraparametern der Kamera, wobei die Bilddarstellung zum Anzeigen auf einem Display vorgesehen ist. Die Bildverarbeitungseinrichtung ist dazu ausgelegt, die Transformationsdaten abhängig von einem gemessenen Fahrzeugniveau im Betrieb des Kamerasystems zu erzeugen.
-
Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Kamerasystem.
-
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.
-
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.
-
Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.
-
Es zeigen:
- 1 in schematischer Darstellung ein Kraftfahrzeug mit einem Kamerasystem gemäß einer Ausführungsform der Erfindung;
- 2 ein Blockdiagramm zur Erläuterung einer Bildtransformation;
- 3 ein weiteres Blockdiagramm;
- 4 und 5 ein beispielhaftes Rohbild sowie eine beispielhafte Bilddarstellung, welche mittels einer Bildtransformation des Rohbilds bereitgestellt wird;
- 6 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung; und
- 7 und 8 schematische Darstellungen zur Erläuterung der Problematik beim Zusammenstellen von Bildern unterschiedlicher Kameras.
-
Ein in 1 dargestelltes Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Das Kraftfahrzeug 1 umfasst ein Kamerasystem 2, welches im Ausführungsbeispiel eine Vielzahl von Kameras 3, 4, 5, 6 aufweist, die an dem Kraftfahrzeug 1 verteilt angeordnet sind. Im Ausführungsbeispiel sind vier Kameras 3, 4, 5, 6 vorgesehen, wobei die Erfindung nicht auf eine solche Anzahl und Anordnung der Kameras 3, 4, 5, 6 beschränkt ist. Es kann grundsätzlich eine beliebige Anzahl von Kameras verwendet werden, welche an unterschiedlichen Stellen des Kraftfahrzeugs 1 angeordnet sein können. Alternativ zu einem solchen Multikamerasystem 2 kann auch ein Kamerasystem 2 mit einer einzigen Kamera verwendet werden.
-
Eine erste Kamera 3 ist beispielsweise am vorderen Stoßfänger des Kraftfahrzeugs 1 angeordnet. Eine zweite Kamera 4 ist zum Beispiel im Heckbereich angeordnet, etwa am hinteren Stoßfänger oder an einer Heckklappe. Die beiden seitlichen Kameras 5, 6 können zum Beispiel in die jeweiligen Außenspiegel integriert sein. Die Kameras 3, 4, 5, 6 sind mit einer zentralen Bildverarbeitungseinrichtung 7 elektrisch gekoppelt, welche wiederum mit einem Display 8 gekoppelt ist. Das Display 8 ist eine beliebige Anzeigeeinrichtung, beispielsweise ein LCD-Display.
-
Die Kameras 3, 4, 5, 6 sind Video-Kameras, welche jeweils eine Sequenz von Bildern pro Zeiteinheit aufnehmen und an die Bildverarbeitungseinrichtung 7 übermitteln können. Die Kameras 3, 4, 5, 6 weisen jeweils einen relativ großen Öffnungswinkel auf, etwa in einem Wertebereich von 150° bis 200°. Für die Kameras 3, 4, 5, 6 können beispielsweise so genannte Fischaugenlinsen eingesetzt werden. Die Kameras 3, 4, 5, 6 können zum Beispiel CCD-Kameras oder CMOS-Kameras sein.
-
Die Kamera 3 erfasst einen Umgebungsbereich 9 vor dem Kraftfahrzeug 1. Die Kamera 4 erfasst einen Umgebungsbereich 10 hinter dem Kraftfahrzeug 1. Die Kamera 5 erfasst einen seitlichen Umgebungsbereich 10 links neben dem Kraftfahrzeug 1, während die Kamera 6 einen Umgebungsbereich 12 auf der rechten Seite des Kraftfahrzeugs 1 erfasst. Die Kameras 3, 4, 5, 6 stellen Bilder der jeweiligen Umgebungsbereiche 9, 10, 11, 12 bereit und übermitteln diese Bilder an die Bildverarbeitungseinrichtung 7. Wie aus 1 hervorgeht, können sich die abgebildeten Umgebungsbereiche 9, 10, 11, 12 auch gegenseitig paarweise überlappen.
-
Zu jedem Rad des Kraftfahrzeugs 1 kann jeweils ein Sensor 13 vorgesehen sein, mittels welchem das Fahrzeugniveau und somit die Bodenfreiheit des Kraftfahrzeugs 1 an dem jeweiligen Einbauort des Sensors 13 erfasst wird. Allgemein gesagt, können die Sensoren 13 in den jeweiligen Eckbereichen des Kraftfahrzeugs 1 angeordnet sein. Beispielsweise sind die Sensoren 13 in die jeweiligen Stoßdämpfer integriert und messen somit eine relative Position des Kolbens relativ zum Zylinder. Die jeweiligen Messwerte der Sensoren 13 kann die Bildverarbeitungseinrichtung 7 beispielsweise an einem Kommunikationsbus des Kraftfahrzeugs 1 - zum Beispiel dem CAN-Bus - abgreifen.
-
Im Ausführungsbeispiel weist das Kraftfahrzeug 1 ein nicht näher dargestelltes Aufhängungssystem auf, welches in zumindest zwei Aufhängungsmodi betrieben wird, die sich bezüglich des Fahrzeugniveaus untereinander unterscheiden. Beispielsweise werden drei Aufhängungsmodi bereitgestellt, wie zum Beispiel: ein Standardmodus mit einem mittleren Fahrzeugniveau, ein sportlicher Aufhängungsmodus mit einem tiefen Fahrzeugniveau sowie ein Offroad-Aufhängungsmodus mit einem relativ hohen Fahrzeugniveau. Es ist insbesondere vorgesehen, dass der aktuelle Aufhängungsmodus durch den Fahrer des Kraftfahrzeugs 1 ausgewählt werden kann. Grundsätzlich sind die Fahrzeugniveaus für die jeweiligen Aufhängungsmodi werkseitig vorgegeben, sodass auch die Differenzen zwischen den Fahrzeugniveaus der unterschiedlichen Aufhängungsmodi bekannt sind. Diese Differenzen sind in der Bildverarbeitungseinrichtung 7 abgelegt.
-
Das Display 8 bzw. das Kamerasystem 2 kann zwischen unterschiedlichen Betriebsmodi geschaltet werden, wobei das Umschalten zwischen den unterschiedlichen Betriebsmodi beispielsweise durch den Fahrer selbst unter Verwendung einer entsprechenden Bedieneinrichtung erfolgt. Diese Bedieneinrichtung kann zum Beispiel in das Display 8 integriert sein, welches als Touch-Display ausgeführt sein kann. In diesen unterschiedlichen Betriebsmodi werden unterschiedliche Bilddarstellungen erzeugt, welche auf dem Display 8 angezeigt werden. Mit anderen Worten unterscheiden sich die Betriebsmodi in der Ansicht, welche auf dem Display 8 dargestellt wird.
-
Bezug nehmend auf 2 kann in einem ersten Betriebsmodus zum Beispiel eine Bilddarstellung 14 erzeugt werden, welche auf Bildern I3, I4, I5, I6 aller Kameras 3, 4, 5, 6 basiert. Wie aus 2 hervorgeht, empfängt die Bildverarbeitungseinrichtung 7 die Bilder I3, I4, I5, I6 aller Kameras 3, 4, 5, 6 und erzeugt die Bilddarstellung 14 aus den Bildern I3, I4, I5, I6. Diese Bilddarstellung 14 zeigt das Kraftfahrzeug 1 und die Umgebung 9, 10, 11, 12 beispielsweise aus einer Vogelperspektive und somit von einem Blickpunkt aus, der über dem Kraftfahrzeug 1 liegt. Um diese Bilddarstellung 14 zu erzeugen, werden die Bilder I3, I4, I5, I6 jeweils einer Transformation unterzogen und dann zusammengesetzt. Für die jeweilige Transformation werden Transformationsdaten genutzt, welche in Form einer Look-Up-Tabelle LUT bereitgestellt werden. Für jede Kamera 3, 4, 5, 6 ist dabei eine separate Look-Up-Tabelle LUT vorgesehen.
-
Im Rahmen der jeweiligen Transformation wird zunächst eine Teilregion I3', I4', I5', I6' des jeweiligen Bilds I3, I4, I5, I6 bestimmt. Zur Erzeugung der Bilddarstellung 14 werden dann ausschließlich die Teilregionen I3', I4', I5', I6' genutzt. Die Teilregionen I3', I4', I5', I6' sind so genannte Viewports, welche in der jeweiligen Look-Up-Tabelle LUT3, LUT4, LUT5, LUT6 definiert sind. Bei der Bereitstellung des „Bird Eye View“ können beispielsweise Teilregionen I3', I4', I5', I6' verwendet werden, welche den jeweiligen Umgebungsbereich 9, 10, 11, 12 des Kraftfahrzeugs 1 bis zu einer vorbestimmten Entfernung vom Kraftfahrzeug 1 zeigen.
-
Im Rahmen der jeweiligen Bildtransformation wird dann die jeweilige Teilregion I3', I4', I5', I6' in das Koordinatensystem des Displays 8 transformiert. In diesem Zusammenhang stellt die Look-Up-Tabelle LUT3, LUT4, LUT5, LUT6 eine Transformationskarte dar, mittels welcher die Bildpunkte des jeweiligen Bilds I3, I4, I5, I6 entsprechend verändert und auf das Display 8 abgebildet werden. Im Rahmen der jeweiligen Bildtransformation kann auch eine Korrektur der Verzerrung des jeweiligen Bilds I3, I4, I5, I6 vorgenommen werden, welche durch die oben genannte Fischaugenlinse verursacht wird.
-
Wie aus 2 weiterhin hervorgeht, überlappen sich die Teilregionen I3', I4', I5', I6' in der Bilddarstellung 14 (Bird Eye View) paarweise in Überlappungsbereichen 15. Auch diese Überlappungsbereiche 15 und somit die Zusammensetzung der Teilregionen I3', I4', I5', I6' werden durch die Transformationsdaten LUT3, LUT4, LUT5, LUT6 vorgegeben.
-
Ein weiterer Betriebsmodus des Displays 8 wird unter Bezugnahme auf 3 näher erläutert. Hier wird auf dem Display 8 eine Bilddarstellung 14 angezeigt, welche ausschließlich auf den Bildern einer einzigen Kamera basiert, nämlich beispielsweise der Rückfahrkamera 4. Diese Situation entspricht auch einem Kamerasystem 2, bei welchem lediglich eine einzige Kamera eingesetzt wird. Die Kamera 4 liefert die Bilder I4 an die Bildverarbeitungseinrichtung 7, welche die Bildtransformation der Bilder I4 zu der Bilddarstellung 14 durchführt. Auch hier werden Transformationsdaten genutzt, die in Form einer Look-Up-Tabelle LUT 4' bereitgestellt werden. Diese Bildtransformation beinhaltet, dass aus dem Bild 14 eine Teilregion I4' (Viewport) ausgewählt wird und diese Teilregion I4' dann in das Koordinatensystem des Displays 8 transformiert wird. Hierbei wird auch die oben genannte Verzerrungskorrektur vorgenommen.
-
Eine beispielhafte Bildtransformation des Bilds I4 der Kamera 4 ist in den 4 und 5 dargestellt. In 4 ist dabei ein beispielhaftes Rohbild I4 der Kamera 4 gezeigt. Wie aus 4 hervorgeht, wird eine Fischaugenlinse verwendet, welche eine relativ große Verzerrung des Bilds I4, insbesondere in den Randbereichen, verursacht. Wird dieses Bild I4 unter Verwendung der Look-Up-Tabelle LUT4' transformiert, so entsteht eine Bilddarstellung 14, wie sie beispielhaft in 5 gezeigt ist. Wie aus den 4 und 5 hervorgeht, wird für die Bilddarstellung 14 lediglich eine Teilregion des Bilds I4 genutzt, die dann auch hinsichtlich der Verzerrung korrigiert und an das Display 8 angepasst wird.
-
Bei der Erzeugung der Transformationsdaten LUT müssen auch Kameraparameter der jeweiligen Kameras 3, 4, 5, 6 berücksichtigt werden. Diese Kameraparameter beinhalten insbesondere den jeweiligen Einbauort der Kameras 3, 4, 5, 6 - d.h. die Position der Kameras 3, 4, 5, 6 in einem zur Fahrzeugkarosserie definierten Koordinatensystem x, y, z (siehe 1) - sowie die Ausrichtung der Kameras 3, 4, 5, 6, welche durch drei Winkelwerte definiert ist: Rx - Ausrichtungswinkel um die x-Achse, Ry - Ausrichtungswinkel um die y-Achse, und Rz - Ausrichtungswinkel um die z-Achse des Kraftfahrzeugs 1. Die Kameraparameter können auch die Eigenschaften der verwendeten Linse beinhalten, wie beispielsweise Informationen über die verursachte Verzerrung.
-
Zwar ist das Fahrzeugniveau in den jeweiligen Aufhängungsmodi grundsätzlich werkseitig vorgegeben, jedoch hat es sich herausgestellt, dass das Fahrzeugniveau in allen Aufhängungsmodi auch durch andere Faktoren beeinflusst wird, wie beispielsweise durch die Beladung des Kraftfahrzeugs 1 oder dadurch, dass ein Anhänger angekuppelt wird. Dadurch ändert sich auch die Position und die Ausrichtung aller Kameras 3, 4, 5, 6 relativ zum Boden bzw. zur Straße. Würden die Transformationsdaten LUT (insbesondere die jeweiligen Viewports) konstant bleiben, würde sich auch die jeweilige Bilddarstellung 14 abhängig von dem aktuellen Fahrzeugniveau ändern. Diese Problematik kann anhand der 7 und 8 am Beispiel des „Bird Eye View“ veranschaulicht werden:
- Hier werden die Teilregionen I4', I6' der Bilder I4, I6 der Kameras 4, 6 zusammengesetzt und überlappen sich in dem Überlappungsbereich 15 gegenseitig. Bei einem unbeladenen Kraftfahrzeug 1 wird eine korrekte Bilddarstellung 14 erzeugt, bei welcher die Teilregionen I4', I6' korrekt miteinander zusammengesetzt werden, ohne dass Sprünge oder doppelte Bildstrukturen in der Bilddarstellung 14 entstehen. Dies ist in 7 daran erkennbar, dass Straßenmarkierungen 16, die sowohl in der Teilregion I4' als auch in der Teilregion I6' abgebildet sind, sich gegenseitig überdecken und somit in der Bilddarstellung 14 insgesamt korrekt abgebildet werden. Verändert sich nun die Beladung des Kraftfahrzeugs 1, so ändert sich auch die Höhe der Kameras 3, 4, 5, 6 über dem Boden. Wenn die Transformationsdaten LUT nicht korrigiert werden, wird eine Bilddarstellung 14 gemäß 8 erzeugt, in welcher die in der Teilregion I4' abgebildete Straßenmarkierung 16' nicht mehr an der gleichen Position wie die Straßenmarkierung 16 der Teilregion I6' liegt. In der Bilddarstellung 14 entstehen somit doppelte Bildstrukturen, was zu einer Verwirrung des Fahrers führen kann.
-
Um die Erzeugung einer fehlerhaften Bilddarstellung 14 zu verhindern, werden die Transformationsdaten LUT mittels der Bildverarbeitungseinrichtung 7 im Betrieb des Kamerasystems 2 abhängig von den Messwerten der Sensoren 13 und abhängig von den abgelegten Kameraparametern erzeugt.
-
Ein Verfahren gemäß einer Ausführungsform der Erfindung wird nun Bezug nehmend auf 6 näher erläutert:
- Das Verfahren startet in einem Schritt S1, in welchem die Zündung des Kraftfahrzeugs 1 und die Antriebsmaschine (Brennkraftmaschine oder Elektromotor) ausgeschaltet sind. Bei ausgeschalteter Zündung werden durch die Bildverarbeitungseinrichtung 7 gemäß Schritt S2 fortlaufend die Messwerte der Sensoren 13 empfangen und abgespeichert. Gemäß Schritt S2 erfolgt also die Messung des Fahrzeugniveaus und somit der aktuellen Fahrwerkshöhe des Kraftfahrzeugs 1 in z-Richtung. Dies ist der optimale Zeitpunkt für die Erfassung der Messwerte, da vor dem Einschalten der Zündung üblicherweise das Kraftfahrzeug 1 beladen wird und sich somit das endgültige statische Fahrzeugniveau einstellt.
-
Der Fahrer aktiviert nun in einem weiteren Schritt S3 die Zündung des Kraftfahrzeugs 1 oder die Antriebsmaschine, sodass das Kraftfahrzeug 1 „gestartet“ wird. Mit anderen Worten erfolgt gemäß Schritt S3 zumindest die Aktivierung des Bordnetzes des Kraftfahrzeugs 1. Dies wird durch die Bildverarbeitungseinrichtung 7 erfasst. Zusätzlich wird durch die Bildverarbeitungseinrichtung 7 überprüft, welcher der Aufhängungsmodi des Aufhängungssystems aktuell aktiviert ist. Diese Information kann beispielsweise an dem genannten Kommunikationsbus abgegriffen werden.
-
In einem weiteren Schritt S4 generiert die Bildverarbeitungseinrichtung 7 zumindest für den aktuell aktivierten Betriebsmodus des Displays 8 die Transformationsdaten LUT. Diese werden gemäß Schritt S4 zunächst für den aktuellen Aufhängungsmodus des Aufhängungssystems generiert. Die Transformationsdaten LUT werden dabei separat für jede Kamera 3, 4, 5, 6 erzeugt. Zum Erzeugen der Transformationsdaten LUT werden die oben genannten Kameraparameter sowie die zuvor gespeicherten Messwerte der Sensoren 13 verwendet. Sind mehrere Sensoren 13 vorhanden, so kann anhand dieser Messwerte die aktuelle Position und Ausrichtung der Kameras 3, 4, 5, 6 relativ zum Boden berechnet und bei der Generierung der Transformationsdaten LUT verwendet werden. Dies kann optional auch so aussehen, dass zum Generieren der Transformationsdaten LUT eine vorgegebene Look-Up-Tabelle verwendet wird, die eine Vorlage darstellt und werkseitig in der Bildverarbeitungseinrichtung 7 abgelegt wird. Diese vorgegebene Look-Up-Tabelle kann bereits die Position und Ausrichtung der jeweiligen Kamera 3, 4, 5, 6 beinhalten. Wird dann durch die Bildverarbeitungseinrichtung 7 festgestellt, dass die aktuelle Position und/oder Ausrichtung von der abgespeicherten Position respektive Ausrichtung abweicht, so kann die Look-Up-Tabelle abhängig von den Messwerten entsprechend korrigiert werden. Die Erzeugung der Referenzdaten LUT kann somit umfassen, dass eine bereits in der Bildverarbeitungseinrichtung 7 abgelegte Look-Up-Tabelle korrigiert und/oder vervollständigt wird.
-
In einem weiteren Schritt S5 können die Transformationsdaten LUT auch für die anderen, aktuell nicht aktivierten Aufhängungsmodi des Kraftfahrzeugs 1 erzeugt werden. Dies ist möglich, da die Differenz in dem Fahrzeugniveau zwischen den unterschiedlichen Aufhängungsmodi bekannt ist. Die Transformationsdaten LUT können also auch für die anderen, aktuell nicht aktivierten Aufhängungsmodi generiert werden. In einem weiteren Schritt S6 wird dann durch die Bildverarbeitungseinrichtung 7 überprüft, ob der Fahrer den Aufhängungsmodus ändert oder nicht. Ist dies der Fall, so werden auf die Bilder I3, I4, I5, I6 neue Transformationsdaten LUT angewendet, welche zuvor für den neuen Aufhängungsmodus bereits erzeugt wurden.
-
Gemäß Schritt S6 kann die Bildverarbeitungseinrichtung 7 auch überprüfen, ob der Fahrer oder ein anderer Benutzer den Betriebsmodus des Displays 8 und somit die Bilddarstellung 14 ändert. Wird dies detektiert, so erzeugt die Bildverarbeitungseinrichtung 7 neue Transformationsdaten für die aktuelle Ansicht (für den aktuellen Betriebsmodus des Displays 8) anhand der abgelegten Kameraparameter und der aktuellen Messwerte der Sensoren 13. Diese neuen Transformationsdaten LUT können für die neue Ansicht für alle drei Aufhängungsmodi erzeugt werden.
-
Wird der Offroad-Aufhängungsmodus aktiviert, wenn sich das Kraftfahrzeug 1 im Gelände befindet, so können die Messwerte der Sensoren 13 auch fortlaufend während der Fahrt erfasst werden. Beispielsweise werden die Messwerte in vorbestimmten Zeitabständen durch die Bildverarbeitungseinrichtung 7 erfasst und ausgewertet. Dann können in dem Offroad-Aufhängungsmodus auch die Transformationsdaten LUT fortlaufend während der Fahrt anhand der jeweils aktuellen Messwerte des Fahrzeugniveaus aktualisiert und somit dynamisch angepasst werden. Dies ist insbesondere in einem unebenen Gelände vorteilhaft, da die häufigen Änderungen des Fahrzeugniveaus schnell kompensiert werden können und somit stets eine optimale Ansicht auf dem Display 8 angezeigt werden kann. Dies wird dadurch ermöglicht, dass das aktuelle Fahrzeugniveau und die aktuelle Höhe und/oder die Ausrichtung der Kameras 3, 4, 5, 6 während der Fahrt erfasst und die Transformationsdaten LUT dynamisch angepasst werden.
