DE102013012808B4 - Method for generating a look-up table during operation of a camera system, camera system and motor vehicle - Google Patents

Method for generating a look-up table during operation of a camera system, camera system and motor vehicle Download PDF

Info

Publication number
DE102013012808B4
DE102013012808B4 DE102013012808.0A DE102013012808A DE102013012808B4 DE 102013012808 B4 DE102013012808 B4 DE 102013012808B4 DE 102013012808 A DE102013012808 A DE 102013012808A DE 102013012808 B4 DE102013012808 B4 DE 102013012808B4
Authority
DE
Germany
Prior art keywords
image
transformation data
motor vehicle
lut
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102013012808.0A
Other languages
German (de)
Other versions
DE102013012808A1 (en
Inventor
Patrick Eoghan Denny
Mark Patrick Griffin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Connaught Electronics Ltd
Original Assignee
Connaught Electronics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Connaught Electronics Ltd filed Critical Connaught Electronics Ltd
Priority to DE102013012808.0A priority Critical patent/DE102013012808B4/en
Priority to PCT/EP2014/066354 priority patent/WO2015014883A1/en
Publication of DE102013012808A1 publication Critical patent/DE102013012808A1/en
Application granted granted Critical
Publication of DE102013012808B4 publication Critical patent/DE102013012808B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Verfahren zum Betreiben eines Kamerasystems (2) eines Kraftfahrzeugs (1), folgende Schritte umfassend:- Bereitstellen eines Bilds (I3, I4, I5, I6) eines Umgebungsbereichs (9, 10, 11, 12) des Kraftfahrzeugs (1) mittels einer Kamera (3, 4, 5, 6) des Kamerasystems (2),- Transformieren des Bilds (I3, I4, I5, I6) zu einer Bilddarstellung (14) unter Verwendung von Transformationsdaten (LUT) mittels einer Bildverarbeitungseinrichtung (7), wobei beim Transformieren des Bilds (I3, I4, I5, I6) Kameraparameter der Kamera (3, 4, 5, 6) berücksichtigt werden, und- Anzeigen der Bilddarstellung (14) auf einem Display (8) des Kamerasystems (2), dadurch gekennzeichnet, dass mittels zumindest eines Sensors (13) des Kraftfahrzeugs (1) ein aktuelles Fahrzeugniveau des Kraftfahrzeugs (1) erfasst wird und die Transformationsdaten (LUT) abhängig von dem Fahrzeugniveau im Betrieb des Kamerasystems (2) erzeugt werden, wobei das Display (8) zwischen zumindest zwei Betriebsmodi geschaltet wird, die sich bezüglich der Bilddarstellung (14) untereinander unterscheiden, wobei die Transformationsdaten (LUT) für die Transformation des Bilds (I3, I4, I5, I6) separat für jeden Betriebsmodus des Displays (8) erzeugt werden.Method for operating a camera system (2) of a motor vehicle (1), comprising the following steps: - Providing an image (I3, I4, I5, I6) of a surrounding area (9, 10, 11, 12) of the motor vehicle (1) by means of a camera (3, 4, 5, 6) of the camera system (2), - transforming the image (I3, I4, I5, I6) into an image representation (14) using transformation data (LUT) by means of an image processing device (7), whereby Transforming the image (I3, I4, I5, I6) camera parameters of the camera (3, 4, 5, 6) are taken into account, and - displaying the image representation (14) on a display (8) of the camera system (2), characterized in that in that a current vehicle level of the motor vehicle (1) is detected by means of at least one sensor (13) of the motor vehicle (1) and the transformation data (LUT) are generated depending on the vehicle level during operation of the camera system (2), the display (8) being between at least two operating modes are switched, which differ from one another with regard to the image representation (14), the transformation data (LUT) for the transformation of the image (I3, I4, I5, I6) being generated separately for each operating mode of the display (8).

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Kamerasystems eines Kraftfahrzeugs, bei welchem ein Bild eines Umgebungsbereichs des Kraftfahrzeugs mittels einer Kamera des Kamerasystems bereitgestellt wird. Das Bild wird dann zu einer Bilddarstellung unter Verwendung von Transformationsdaten mittels einer Bildverarbeitungseinrichtung transformiert, wobei beim Transformieren des Bilds Kameraparameter der Kamera berücksichtigt werden. Die Bilddarstellung wird dann auf einem Display des Kamerasystems angezeigt. Die Erfindung betrifft außerdem ein Kamerasystem, welches zum Durchführen eines solchen Verfahrens ausgebildet ist, sowie ein Kraftfahrzeug mit einem solchen Kamerasystem.The invention relates to a method for operating a camera system of a motor vehicle, in which an image of a surrounding area of the motor vehicle is provided by means of a camera of the camera system. The image is then transformed into an image representation using transformation data by means of an image processing device, with camera parameters of the camera being taken into account when transforming the image. The image representation is then displayed on a display of the camera system. The invention also relates to a camera system which is designed to carry out such a method, and to a motor vehicle with such a camera system.

Kamerasysteme für Kraftfahrzeuge sind bereits aus dem Stand der Technik bekannt. In einem Kraftfahrzeug können bekanntlich mehrere Kameras eingesetzt werden, wobei es heutzutage mehr und mehr üblich wird, für ein Kamerasystem eines Fahrzeugs eine Kameraanordnung mit wenigstens zwei Kameras zu verwenden, welche jeweils einen Umgebungsbereich des Kraftfahrzeugs erfassen. Es können beispielsweise vier Kameras eingesetzt werden, die die gesamte Umgebung um das Kraftfahrzeug herum erfassen. Aus den Bildern aller Kameras kann beispielsweise eine Gesamtbilddarstellung bereitgestellt werden, wie zum Beispiel das so genannte „Bird Eye View“. Diese Bilddarstellung repräsentiert eine Draufsicht auf das Kraftfahrzeug sowie seine Umgebung aus einer Vogelperspektive und somit beispielsweise von einem Referenzsichtpunkt direkt über dem Kraftfahrzeug aus. Die Bereitstellung einer solchen Umgebungsdarstellung aus den Bildern mehrerer Kameras ist beispielsweise aus dem Dokument US 2011 / 0 156 887 A1 , JP 2009-253 571 A oder US 2009 /0 160 940 A1 bekannt.Camera systems for motor vehicles are already known from the prior art. As is known, several cameras can be used in a motor vehicle, and it is now becoming more and more common to use a camera arrangement with at least two cameras for a camera system of a vehicle, each of which captures an area surrounding the motor vehicle. For example, four cameras can be used that record the entire environment around the motor vehicle. For example, an overall image representation can be provided from the images from all cameras, such as the so-called “bird eye view”. This image representation represents a top view of the motor vehicle and its surroundings from a bird's eye view and thus, for example, from a reference point of view directly above the motor vehicle. The provision of such an environment representation from the images from several cameras is, for example, from the document US 2011 / 0 156 887 A1 , JP 2009-253 571 A or US 2009 /0 160 940 A1 known.

Bei einem Kamerasystem eines Kraftfahrzeugs kann das Display üblicherweise zwischen unterschiedlichen Betriebsmodi geschaltet werden, die sich bezüglich der angezeigten Bilddarstellung und somit bezüglich der Ansicht untereinander unterscheiden. Der Fahrer des Kraftfahrzeugs kann hier zwischen unterschiedlichen Ansichten auswählen, die für verschiedene Straßensituationen konzipiert und optimiert sind. Neben einem Betriebsmodus, in welchem das oben genannte „Bird Eye View“ als Bilddarstellung angezeigt wird, kann das Display beispielsweise auch in einen Cross-Traffic-Betriebsmodus geschaltet werden, in welchem die so genannte Kreuzungsdarstellung (junction view) angezeigt wird, d.h. eine Ansicht, welche den Querverkehr zeigt. Eine solche Kreuzungsdarstellung kann beispielsweise anhand von Bildern einer Kamera bereitgestellt werden, die an der Front - beispielsweise am vorderen Stoßfänger - oder aber im Heckbereich - beispielsweise am hinteren Stoßfänger oder an einer Heckklappe - angeordnet ist und einen relativ breiten Öffnungswinkel von 160° bis 200° aufweist. In einem noch weiteren Betriebsmodus kann auf dem Display eine Bilddarstellung angezeigt werden, welche aus den Bildern einer Rückfahrkamera (rear view camera) erzeugt wird und den Umgebungsbereich hinter dem Kraftfahrzeug darstellt.In a camera system of a motor vehicle, the display can usually be switched between different operating modes, which differ from one another in terms of the image displayed and thus in terms of the view. The driver of the motor vehicle can choose between different views that are designed and optimized for different road situations. In addition to an operating mode in which the above-mentioned “Bird Eye View” is displayed as an image representation, the display can also, for example, be switched to a cross-traffic operating mode in which the so-called junction view is displayed, i.e. a view , which shows cross traffic. Such an intersection representation can be provided, for example, using images from a camera that is arranged at the front - for example on the front bumper - or in the rear area - for example on the rear bumper or on a tailgate - and has a relatively wide opening angle of 160 ° to 200 ° having. In yet another operating mode, an image representation can be shown on the display, which is generated from the images of a rear view camera and represents the surrounding area behind the motor vehicle.

Unabhängig davon, welcher Betriebsmodus des Displays aktuell verwendet wird, sowie unabhängig von der verwendeten Anzahl der Kameras müssen die Rohbilder der Kamera in das Koordinatensystem des Displays transformiert bzw. abgebildet (mapped) werden. Üblicherweise werden die Rohbilder von der Kamera an eine zentrale elektronische Bildverarbeitungseinrichtung übermittelt, welche die Bilder digital verarbeitet. Werden mehrere Kameras eingesetzt, so empfängt diese zentrale Bildverarbeitungseinrichtung die digitalen Bilddaten aller Kameras. Um die finale Bilddarstellung zur Anzeige auf dem Display bereitzustellen, werden die Bilder von dem Koordinatensystem der jeweiligen Kamera in das Koordinatensystem des Displays transformiert. Zu diesem Zwecke werden im Stand der Technik Transformationsdaten genutzt, welche die Transformation des Rohbilds definieren. Diese Transformationsdaten liegen beispielsweise in Form einer so genannten Look-Up-Tabelle vor und berücksichtigen auch die Kameraparameter, welche insbesondere die Position der Befestigung der Kamera am Fahrzeug sowie die Ausrichtung am Fahrzeug, wie auch die Eigenschaften der verwendeten Linse umfassen. Die Position am Fahrzeug ist dabei durch drei Koordinatenwerte (x, y, z) definiert, welche die eindeutige Position der Kamera bezüglich der Fahrzeugkarosserie angeben. Die Ausrichtung der Kamera am Fahrzeug ist wiederum durch drei Winkelwerte vorgegeben, welche die Ausrichtungswinkel der Kamera um die drei Fahrzeugachsen x, y, z angeben. Die Eigenschaften der Linse definieren beispielsweise eine durch die Linse verursachte Verzerrung der Bilder und sollten deshalb berücksichtigt werden, weil üblicherweise so genannte Fischaugenlinsen eingesetzt werden, die eine relativ große Verzerrung der Bilder verursachen. Diese Verzerrung wird im Rahmen der genannten Transformation korrigiert.Regardless of which operating mode of the display is currently in use and regardless of the number of cameras used, the raw images from the camera must be transformed or mapped into the coordinate system of the display. The raw images are usually transmitted from the camera to a central electronic image processing device, which processes the images digitally. If several cameras are used, this central image processing device receives the digital image data from all cameras. In order to provide the final image representation for display on the display, the images are transformed from the coordinate system of the respective camera into the coordinate system of the display. For this purpose, transformation data is used in the prior art, which defines the transformation of the raw image. This transformation data is available, for example, in the form of a so-called look-up table and also takes into account the camera parameters, which include in particular the position of the camera's attachment to the vehicle as well as the orientation on the vehicle, as well as the properties of the lens used. The position on the vehicle is defined by three coordinate values (x, y, z), which indicate the unique position of the camera with respect to the vehicle body. The alignment of the camera on the vehicle is in turn predetermined by three angle values, which indicate the alignment angles of the camera around the three vehicle axes x, y, z. For example, the properties of the lens define any distortion of the images caused by the lens and should therefore be taken into account because so-called fisheye lenses are commonly used, which cause a relatively large distortion of the images. This distortion is corrected as part of the transformation mentioned.

Bei der Erzeugung der Transformationsdaten (Look-Up-Tabelle) werden also einerseits die vorgegebenen und bekannten Kameraparameter berücksichtigt. Andererseits wird durch die Transformationsdaten auch der so genannte „Viewport“ definiert, d.h. eine Teilregion des Bilds, welche zum Erzeugen der Bilddarstellung für das Display verwendet wird. Mit anderen Worten wird für die Bilddarstellung, welche auf dem Display angezeigt werden soll, lediglich ein Ausschnitt des Rohbilds verwendet. Dieser Viewport ist abhängig von dem aktuell aktivierten Betriebsmodus des Displays und somit abhängig von der aktuellen Ansicht, die auf dem Display angezeigt wird.When generating the transformation data (look-up table), the specified and known camera parameters are taken into account. On the other hand, the so-called “viewport” is also defined by the transformation data, ie a sub-region of the image that is used to generate the image representation for the display. In other words, only a section of the raw image is used for the image representation that is to be shown on the display. This viewport depends on the currently active eral operating mode of the display and therefore dependent on the current view shown on the display.

Eine Aufgabe der Erfindung besteht darin, ein gegenüber dem Stand der Technik verbessertes Verfahren, ein Kamerasystem sowie ein Kraftfahrzeug bereitzustellen.One object of the invention is to provide a method, a camera system and a motor vehicle that are improved over the prior art.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche, der Beschreibung und der Figuren.This object is achieved according to the invention by a method, by a camera system and by a motor vehicle with the features according to the respective independent patent claims. Advantageous embodiments of the invention are the subject of the dependent claims, the description and the figures.

Ein erfindungsgemäßes Verfahren dient zum Betreiben eines Kamerasystems eines Kraftfahrzeugs. Zumindest eine Kamera des Kamerasystems stellt ein Bild eines Umgebungsbereichs des Kraftfahrzeugs bereit. Das Bild wird mittels einer digitalen Bildverarbeitungseinrichtung zu einer Bilddarstellung transformiert, welche auf einem Display des Kamerasystems angezeigt wird. Die Transformation des Bilds erfolgt unter Verwendung von Transformationsdaten, wobei beim Transformieren des Bilds vorgegebene Kameraparameter der Kamera berücksichtigt werden. Erfindungsgemäß ist vorgesehen, dass mittels zumindest eines Sensors des Kraftfahrzeugs ein aktuelles Fahrzeugniveau und somit die aktuelle Fahrwerkshöhe erfasst wird und die Transformationsdaten abhängig von dem gemessenen Fahrzeugniveau im Betrieb des Kamerasystems erzeugt werden.A method according to the invention is used to operate a camera system of a motor vehicle. At least one camera of the camera system provides an image of an area surrounding the motor vehicle. The image is transformed using a digital image processing device into an image representation, which is displayed on a display of the camera system. The image is transformed using transformation data, with predetermined camera parameters of the camera being taken into account when transforming the image. According to the invention, it is provided that a current vehicle level and thus the current chassis height is detected by means of at least one sensor of the motor vehicle and the transformation data is generated depending on the measured vehicle level during operation of the camera system.

Die Erfindung basiert auf der Erkenntnis, dass zwar die Position und die Ausrichtung der Kamera relativ zur Fahrzeugkarosserie fest vorgegeben und somit bekannt ist, dass sich jedoch die Position und die Ausrichtung der Kamera relativ zum Untergrund bzw. zur Straße, auf der sich das Kraftfahrzeug befindet, über die Zeit ändern kann. Insbesondere die Höhe der Kamera über dem Boden sowie die Ausrichtung der Kamera können durch eine Vielzahl von Faktoren beeinflusst werden, wie beispielsweise durch die Beladung des Kofferraums des Fahrzeugs, durch die Anzahl der Fahrzeuginsassen, durch ungleichmäßige Verteilung der Gewichte im Fahrzeug, durch das Ankuppeln eines Anhängers oder auch während einer Geländefahrt. Die Erfindung basiert ferner auf der Erkenntnis, dass diese Änderung des Fahrzeugniveaus auch eine Änderung der aktuellen Ansicht auf dem Display verursacht. Dies führt wiederum dazu, dass die Fahrzeugumgebung auf dem Display fehlerhaft - beispielsweise aus einer anderen Perspektive - angezeigt wird und somit zum Beispiel Hindernisse nicht mehr oder fehlerhaft dargestellt werden, die sich in der Umgebung des Fahrzeugs befinden. Bei einem Multikamerasystem führt die Veränderung des Fahrzeugniveaus zu Fehlern bei der Zusammensetzung der Bilder unterschiedlicher Kameras. In diesem Zusammenhang können insbesondere in dem Überlappungsbereich zwischen Bildern unterschiedlicher Kameras Sprünge oder doppelte Bildstrukturen entstehen, wenn die Bilder in dem Überlappungsbereich nicht korrekt aneinander angepasst werden. Die Erfindung beruht weiterhin auf der Erkenntnis, dass die Nachteile des Stands der Technik dadurch umgangen werden können, dass das aktuelle Fahrzeugniveau mittels zumindest eines Sensors gemessen und bei der Erzeugung der Transformationsdaten (insbesondere der so genannten Look-Up-Tabelle) berücksichtigt wird. Auf diese Art und Weise können sämtliche Änderungen des Fahrzeugniveaus kompensiert werden, und es kann stets die gewünschte Bilddarstellung auf dem Display angezeigt werden, d.h. stets die gleiche Ansicht bezüglich des Bodens.The invention is based on the knowledge that although the position and orientation of the camera relative to the vehicle body is fixed and is therefore known, the position and orientation of the camera is relative to the surface or the road on which the motor vehicle is located , can change over time. In particular, the height of the camera above the ground and the orientation of the camera can be influenced by a variety of factors, such as the load in the trunk of the vehicle, the number of vehicle occupants, uneven distribution of weights in the vehicle, and coupling trailer or while driving off-road. The invention is further based on the knowledge that this change in the vehicle level also causes a change in the current view on the display. This in turn leads to the vehicle surroundings being displayed incorrectly on the display - for example from a different perspective - and thus, for example, obstacles that are in the area surrounding the vehicle are no longer displayed or are incorrectly displayed. In a multi-camera system, changing the vehicle level leads to errors in the composition of the images from different cameras. In this context, jumps or duplicate image structures can arise, particularly in the overlap area between images from different cameras, if the images in the overlap area are not correctly adapted to one another. The invention is further based on the knowledge that the disadvantages of the prior art can be circumvented by measuring the current vehicle level using at least one sensor and taking it into account when generating the transformation data (in particular the so-called look-up table). In this way, all changes in the vehicle level can be compensated for and the desired image representation can always be shown on the display, i.e. always the same view of the ground.

Unter dem Begriff „Fahrzeugniveau“ wird vorliegend vorzugsweise die Bodenfreiheit („ride height“ oder „ground clearance“) verstanden. Aus dem aktuellen Wert des Fahrzeugniveaus kann dann zumindest auf die aktuelle Höhe der Kamera über dem Boden rückgeschlossen werden, und die aktuelle Höhe der Kamera über dem Boden kann bei der Erzeugung der Transformationsdaten berücksichtigt werden.In the present case, the term “vehicle level” is preferably understood to mean the ground clearance (“ride height” or “ground clearance”). From the current value of the vehicle level, conclusions can then be drawn at least about the current height of the camera above the ground, and the current height of the camera above the ground can be taken into account when generating the transformation data.

Das Fahrzeugniveau kann dabei beispielsweise in einem Stoßdämpfer des Kraftfahrzeugs gemessen werden, d.h. einem Bauteil, welches die Schwingungen der gefederten Massen abklingen lässt. Mit dem Sensor kann dabei beispielsweise die relative Position des Kolbens bezüglich des Zylinders gemessen werden, was dann Rückschlüsse auf das tatsächliche Fahrzeugniveau und die Höhe der Kamera über dem Boden zulässt. Die Erfindung ist jedoch nicht auf die Anordnung des Sensors im Stoßdämpfer beschränkt; der zumindest eine Sensor kann grundsätzlich an beliebiger Position angeordnet sein, welche die Erfassung des Fahrzeugniveaus ermöglicht.The vehicle level can be measured, for example, in a shock absorber of the motor vehicle, i.e. a component that allows the vibrations of the sprung masses to subside. For example, the sensor can be used to measure the relative position of the piston with respect to the cylinder, which then allows conclusions to be drawn about the actual vehicle level and the height of the camera above the ground. However, the invention is not limited to the arrangement of the sensor in the shock absorber; The at least one sensor can in principle be arranged at any position that enables the vehicle level to be detected.

Bevorzugt werden mindestens zwei, insbesondere mindestens drei, bevorzugt vier, solche Sensoren verwendet, die in den jeweiligen Eckbereichen des Kraftfahrzeugs jeweils das Fahrzeugniveau erfassen. Somit können ungleichmäßige Verteilungen der Beladung im Kraftfahrzeug detektiert werden, sodass auch die aktuelle Ausrichtung der Kamera um alle Fahrzeugachsen bestimmt und bei den Transformationsdaten berücksichtigt werden kann.Preferably, at least two, in particular at least three, preferably four, sensors are used which detect the vehicle level in the respective corner areas of the motor vehicle. This means that uneven distributions of the load in the motor vehicle can be detected, so that the current orientation of the camera around all vehicle axes can also be determined and taken into account in the transformation data.

Die Transformationsdaten liegen vorzugsweise in Form einer Look-Up-Tabelle vor, welche eine Transformationskarte (transformation map) darstellt, die auf das Rohbild der Kamera angewendet wird, um die Bildpunkte des Bilds zu verändern und in das Koordinatensystem des Displays abzubilden (mapping). Mit anderen Worten stellen die Transformationsdaten also eine Projektionsfunktion bzw. Abbildungsfunktion dar, mittels welcher das Bild in das Koordinatensystem des Displays transformiert wird. Diese Transformationsdaten berücksichtigen dabei die Kameraparameter, welche bekannt sind und beispielsweise in einem Speicher der Bildverarbeitungseinrichtung abgelegt sein können. Die Kameraparameter umfassen insbesondere die Eigenschaften der Linse der Kamera, die Position der Kamera relativ zur Fahrzeugkarosserie - diese Position kann durch drei Koordinatenwerte x, y, z, d.h. in Fahrzeuglängsrichtung, in Fahrzeugquerrichtung und in Fahrzeughochrichtung, bestimmt sein - sowie die Ausrichtung der Kamera relativ zur Fahrzeugkarosserie - die Ausrichtung ist dann durch drei Winkelwerte definiert, nämlich einen Winkel um die Fahrzeuglängsachse, einen Winkel um die Fahrzeugquerachse sowie einen Winkel um die Fahrzeughochachse. Einerseits können die Kameraparameter also die Eigenschaften der Linse und somit die optischen Eigenschaften der Kamera beschreiben; andererseits beinhalten die Kameraparameter auch die feste Einbaulage der Kamera am Fahrzeug.The transformation data is preferably in the form of a look-up table, which represents a transformation map applied to the raw image from the camera is used to change the pixels of the image and map them into the coordinate system of the display. In other words, the transformation data represents a projection function or mapping function by means of which the image is transformed into the coordinate system of the display. This transformation data takes into account the camera parameters, which are known and can be stored, for example, in a memory of the image processing device. The camera parameters include in particular the properties of the lens of the camera, the position of the camera relative to the vehicle body - this position can be determined by three coordinate values x, y, z, ie in the vehicle's longitudinal direction, in the vehicle's transverse direction and in the vehicle's vertical direction - as well as the relative orientation of the camera to the vehicle body - the alignment is then defined by three angle values, namely an angle around the vehicle's longitudinal axis, an angle around the vehicle's transverse axis and an angle around the vehicle's vertical axis. On the one hand, the camera parameters can describe the properties of the lens and thus the optical properties of the camera; on the other hand, the camera parameters also include the fixed installation position of the camera on the vehicle.

Die Bildverarbeitungseinrichtung ist vorzugsweise eine von der Kamera separate Komponente. Die Bildverarbeitungseinrichtung kann zum Beispiel durch ein Steuergerät gebildet sein, welches einen digitalen Signalprozessor beinhalten kann. Der Signalprozessor dient dann zum Durchführen der Transformation des Bilds und zum Erzeugen der Bilddarstellung.The image processing device is preferably a component separate from the camera. The image processing device can be formed, for example, by a control device, which can contain a digital signal processor. The signal processor is then used to perform the transformation of the image and generate the image representation.

Das „Erzeugen“ der Transformationsdaten bedeutet vorliegend insbesondere, dass in der Bildverarbeitungseinrichtung abgelegte Vorlagedaten verwendet und in Abhängigkeit von dem gemessenen Fahrzeugniveau im Betrieb des Kamerasystems angepasst oder vervollständigt werden. Beispielsweise kann eine Look-Up-Tabelle abgelegt sein, welche dann abhängig von dem gemessenen Fahrzeugniveau aktualisiert oder vervollständigt wird. Es braucht somit vorzugsweise nicht die gesamte Look-Up-Tabelle erzeugt werden, sondern lediglich derjenige Teil, der abhängig von der Höhe der Kamera über dem Boden und abhängig von der Ausrichtung der Kamera ist.In the present case, “generating” the transformation data means in particular that template data stored in the image processing device is used and adapted or completed depending on the measured vehicle level during operation of the camera system. For example, a look-up table can be stored, which is then updated or completed depending on the measured vehicle level. Preferably, it is not necessary to create the entire look-up table, but only the part that is dependent on the height of the camera above the ground and dependent on the orientation of the camera.

In einer Ausführungsform ist vorgesehen, dass zur Erzeugung der Bilddarstellung eine Teilregion (insbesondere ausschließlich eine Teilregion) des Bilds verwendet wird und die Teilregion durch die Transformationsdaten definiert wird. Das Erzeugen der Transformationsdaten kann dann umfassen, dass die Teilregion des Bilds abhängig von dem gemessenen Fahrzeugniveau festgelegt wird. Unter der „Teilregion“ wird dabei insbesondere der Viewport verstanden, d.h. ein Bildausschnitt, welcher zur Erzeugung der Bilddarstellung für das Display verwendet wird. Dieser Viewport wird bei dieser Ausführungsform in Abhängigkeit von dem gemessenen Fahrzeugniveau bestimmt. Diese Ausführungsform hat den Vorteil, dass auf dem Display stets der gleiche Umgebungsbereich des Kraftfahrzeugs angezeigt werden kann, und dies unabhängig von dem aktuellen Fahrzeugniveau. Außerdem ermöglicht diese Ausführungsform ein korrektes und sprungfreies Zusammensetzen der Bilder unterschiedlicher Kameras, was sich insbesondere bei dem oben genannten „Bird Eye View“ als besonders vorteilhaft erweist.In one embodiment it is provided that a sub-region (in particular exclusively a sub-region) of the image is used to generate the image representation and the sub-region is defined by the transformation data. Generating the transformation data can then include determining the sub-region of the image depending on the measured vehicle level. The “sub-region” is understood to mean in particular the viewport, i.e. an image section that is used to generate the image representation for the display. In this embodiment, this viewport is determined depending on the measured vehicle level. This embodiment has the advantage that the same surrounding area of the motor vehicle can always be shown on the display, regardless of the current vehicle level. In addition, this embodiment enables the images from different cameras to be put together correctly and without jumps, which proves to be particularly advantageous in the case of the “bird eye view” mentioned above.

Das Kamerasystem kann auch mehrere Kameras beinhalten: In einer Ausführungsform können zumindest zwei Kameras eingesetzt werden, welche jeweils ein Bild eines Umgebungsbereichs des Kraftfahrzeugs bereitstellen. Zum Erzeugen der Bilddarstellung (beispielsweise des „Bird Eye View“) können dann jeweilige Teilregionen (Viewports) der Bilder derart miteinander kombiniert werden, dass sich die Teilregionen in einem Überlappungsbereich gegenseitig überlappen. Der Überlappungsbereich der jeweiligen Teilregionen kann durch die Transformationsdaten definiert werden, und das Erzeugen der Transformationsdaten kann umfassen, dass der Überlappungsbereich der jeweiligen Teilregionen abhängig von dem Fahrzeugniveau bestimmt wird. Die Übergangsbereiche zwischen den Bildern unterschiedlicher Kameras können somit abhängig von dem gemessenen Fahrzeugniveau kompensiert werden, und es kann eine Bilddarstellung auf dem Display bereitgestellt werden, welche auf den Bildern unterschiedlicher Kameras beruht und keine Sprünge und keine doppelten Bildstrukturen in den Übergangsbereichen aufweist.The camera system can also contain several cameras: In one embodiment, at least two cameras can be used, each of which provides an image of an area surrounding the motor vehicle. To generate the image representation (for example the “bird eye view”), respective sub-regions (viewports) of the images can then be combined with one another in such a way that the sub-regions overlap each other in an overlap area. The overlap area of the respective sub-regions may be defined by the transformation data, and generating the transformation data may include determining the overlap area of the respective sub-regions depending on the vehicle level. The transition areas between the images from different cameras can thus be compensated depending on the measured vehicle level, and an image representation can be provided on the display which is based on the images from different cameras and has no jumps and no double image structures in the transition areas.

In einer Ausführungsform ist vorgesehen, dass ein Aufhängungssystem (suspension system) des Kraftfahrzeugs zwischen zumindest zwei vorbestimmten Aufhängungsmodi geschaltet wird, die beispielsweise durch den Fahrer selbst ausgewählt werden können. Beispielsweise können folgende Aufhängungsmodi vorgesehen sein, in denen das Kraftfahrzeug unterschiedliche Niveaus aufweist, die werkseitig vorgegeben sind: ein Standardmodus mit einem mittleren Fahrzeugniveau; ein Sportmodus mit einem geringen Fahrzeugniveau sowie ein Offroad-Modus mit einem größeren Fahrzeugniveau. In dieser Ausführungsform können die Transformationsdaten für die Transformation des Bilds separat für jeden Aufhängungsmodus erzeugt werden. Die Transformation des Bilds zur Bilddarstellung kann somit in jedem Aufhängungsmodus des Kraftfahrzeugs besonders präzise durchgeführt werden. Zwar ist das grundsätzliche Fahrzeugniveau in jedem Aufhängungsmodus fest vorgegeben, jedoch wird das Fahrzeugniveau (wenn keine Niveauregulierung vorhanden ist) auch durch eine Vielzahl von Faktoren beeinflusst, wie insbesondere durch die Beladung des Kraftfahrzeugs und dergleichen.In one embodiment it is provided that a suspension system of the motor vehicle is switched between at least two predetermined suspension modes, which can be selected, for example, by the driver himself. For example, the following suspension modes may be provided in which the motor vehicle has different levels that are preset at the factory: a standard mode with a medium vehicle level; a sport mode with a low vehicle level and an off-road mode with a higher vehicle level. In this embodiment, the transformation data for transforming the image may be generated separately for each suspension mode. The transformation of the image to display the image can therefore be carried out particularly precisely in each suspension mode of the motor vehicle. Although the basic vehicle level is fixed in each suspension mode, the vehicle level (if no level control lation is present) is also influenced by a variety of factors, such as in particular the load of the motor vehicle and the like.

Der aktuell aktivierte Aufhängungsmodus kann durch die Bildverarbeitungseinrichtung erfasst werden. Für diesen aktuell aktivierten Aufhängungsmodus können die Transformationsdaten dann abhängig von dem gemessenen Fahrzeugniveau erzeugt werden. Diese einmal erzeugten Transformationsdaten können dann wieder für den gleichen Aufhängungsmodus verwendet werden, wenn das Aufhängungssystem in einen anderen Modus und dann wieder in den ursprünglichen Modus umgeschaltet wird.The currently activated suspension mode can be detected by the image processing device. For this currently activated suspension mode, the transformation data can then be generated depending on the measured vehicle level. This transformation data, once generated, can then be used again for the same suspension mode when the suspension system is switched to another mode and then back to the original mode.

Es erweist sich als vorteilhaft, wenn zusätzlich zu den Transformationsdaten für den aktuell aktivierten Aufhängungsmodus separat auch Transformationsdaten für zumindest einen anderen (nicht aktivierten) Aufhängungsmodus des Aufhängungssystems abhängig von den Transformationsdaten des aktuellen Aufhängungsmodus und/oder abhängig von dem gemessenen Fahrzeugniveau erzeugt werden. Die separaten Transformationsdaten können also quasi gleichzeitig für alle Aufhängungsmodi erzeugt werden. Dies kann beispielsweise beim Aktivieren der Zündung des Kraftfahrzeugs vorgenommen werden, sodass bereits zu diesem Zeitpunkt die Transformationsdaten für alle Aufhängungsmodi bereitgestellt werden. Wird dann das Aufhängungssystem in einen anderen Modus umgeschaltet, so kann direkt auf die bereits erzeugten Transformationsdaten zugegriffen werden, sodass direkt nach dem Umschalten des Aufhängungssystems eine korrekte Bilddarstellung angezeigt werden kann.It proves to be advantageous if, in addition to the transformation data for the currently activated suspension mode, transformation data for at least one other (not activated) suspension mode of the suspension system is also generated separately depending on the transformation data of the current suspension mode and / or depending on the measured vehicle level. The separate transformation data can therefore be generated virtually simultaneously for all suspension modes. This can be done, for example, when activating the ignition of the motor vehicle, so that the transformation data for all suspension modes are already provided at this point in time. If the suspension system is then switched to another mode, the transformation data that has already been generated can be accessed directly, so that a correct image representation can be displayed directly after switching the suspension system.

Die Erzeugung der Transformationsdaten für die anderen, aktuell nicht aktivierten Aufhängungsmodi des Aufhängungssystems wird dadurch ermöglicht, dass das Fahrzeugniveau für alle Aufhängungsmodi grundsätzlich werkseitig vordefiniert ist und somit die Differenz des Fahrzeugniveaus zwischen den jeweiligen Aufhängungsmodi bekannt ist. Wird das aktuelle Fahrzeugniveau für den aktuell aktivierten Aufhängungsmodus gemessen, so kann anhand dieser Messwerte auch auf das Fahrzeugniveau in den anderen Aufhängungsmodi rückgeschlossen werden.The generation of the transformation data for the other, currently not activated suspension modes of the suspension system is made possible by the fact that the vehicle level for all suspension modes is basically predefined at the factory and thus the difference in the vehicle level between the respective suspension modes is known. If the current vehicle level is measured for the currently activated suspension mode, these measured values can also be used to draw conclusions about the vehicle level in the other suspension modes.

Wie bereits erwähnt, kann durch die Bildverarbeitungseinrichtung eine Inbetriebnahme einer Antriebsmaschine, d.h. einer Momentenquelle, des Kraftfahrzeugs oder ein Aktivieren der Zündung des Kraftfahrzeugs erfasst werden, und die Transformationsdaten können mit der Inbetriebnahme der Antriebsmaschine oder mit dem Aktivieren der Zündung erzeugt werden, insbesondere mit jeder Inbetriebnahme der Antriebsmaschine oder jedes Mal, wenn die Zündung aktiviert wird. Zu diesem Zeitpunkt werden vorzugsweise die Transformationsdaten für alle Aufhängungsmodi des Kraftfahrzeugs generiert. Das Erzeugen der Transformationsdaten zum Zeitpunkt der Inbetriebnahme der Antriebsmaschine oder der Zündung hat den Vorteil, dass die Transformationsdaten somit für die gesamte Zeitdauer des aktuellen Betriebs des Kraftfahrzeugs zur Verfügung stehen, insbesondere für alle Aufhängungsmodi des Aufhängungssystems. Im Betrieb des Kraftfahrzeugs brauchen dann beispielsweise keine Transformationsdaten mehr generiert zu werden, sodass selbst beim Umschalten zwischen unterschiedlichen Aufhängungsmodi die Transformationsdaten für den jeweiligen Aufhängungsmodus bereits verfügbar sind.As already mentioned, the image processing device can detect a start-up of a drive machine, i.e. a torque source, of the motor vehicle or an activation of the ignition of the motor vehicle, and the transformation data can be generated with the start-up of the drive machine or with the activation of the ignition, in particular with each Starting up the engine or every time the ignition is activated. At this point, the transformation data for all suspension modes of the motor vehicle is preferably generated. Generating the transformation data at the time the drive engine is started up or the ignition has the advantage that the transformation data is therefore available for the entire period of current operation of the motor vehicle, in particular for all suspension modes of the suspension system. During operation of the motor vehicle, for example, transformation data no longer needs to be generated, so that even when switching between different suspension modes, the transformation data for the respective suspension mode is already available.

Um die Transformationsdaten bei der Inbetriebnahme der Antriebsmaschine oder bereits beim Aktivieren der Zündung bereitstellen zu können, kann vorgesehen sein, dass bereits vor der Inbetriebnahme der Antriebsmaschine oder vor dem Aktivieren der Zündung das aktuelle Fahrzeugniveau - insbesondere fortlaufend - erfasst wird und die erfassten Messwerte des Fahrzeugniveaus in der Bildverarbeitungseinrichtung für die anschließende Erzeugung der Transformationsdaten abgelegt werden. Durch das Erfassen des Fahrzeugniveaus in dieser spezifischen Betriebsphase des Kraftfahrzeugs können jegliche Änderungen in der Fahrzeughöhe erfasst werden, die beispielsweise durch eine zusätzliche Kofferraumbeladung verursacht werden, und es kann auch gewährleistet werden, dass die Transformationsdaten besonders rasch bereits bei der Aktivierung der Zündung oder bei der Inbetriebnahme der Antriebsmaschine erzeugt werden können.In order to be able to provide the transformation data when the drive machine is started up or when the ignition is activated, it can be provided that the current vehicle level is recorded - in particular continuously - and the measured values of the vehicle level are recorded before the drive machine is started up or before the ignition is activated are stored in the image processing device for the subsequent generation of the transformation data. By detecting the vehicle level in this specific operating phase of the motor vehicle, any changes in the vehicle height can be detected, which are caused, for example, by an additional trunk load, and it can also be ensured that the transformation data is generated particularly quickly when the ignition is activated or when Commissioning of the drive machine can be generated.

Optional kann vorgesehen sein, dass in einem vorbestimmten Aufhängungsmodus - insbesondere in dem Off-Road-Modus - das Fahrzeugniveau fortlaufend während der Fahrt, beispielsweise in vorbestimmten Zeitabständen, erfasst wird und die Transformationsdaten auch fortlaufend während der Fahrt, beispielsweise auch in vorbestimmten Zeitabständen, jeweils neu anhand der aktuellen Messwerte des Fahrzeugniveaus generiert werden. Insbesondere im unebenen Gelände können somit die häufigen Änderungen des Fahrzeugniveaus schnell kompensiert werden, indem das aktuelle Fahrzeugniveau und somit auch die aktuelle Höhe und/oder die Ausrichtung der Kamera während der Fahrt erfasst und die Transformationsdaten generiert werden.Optionally, it can be provided that in a predetermined suspension mode - in particular in the off-road mode - the vehicle level is recorded continuously while driving, for example at predetermined time intervals, and the transformation data is also continuously recorded while driving, for example also at predetermined time intervals be generated again based on the current measured values of the vehicle level. Particularly on uneven terrain, the frequent changes in the vehicle level can be quickly compensated for by recording the current vehicle level and thus also the current height and/or the orientation of the camera while driving and generating the transformation data.

Das Display bzw. das Kamerasystem kann zwischen zumindest zwei Betriebsmodi umgeschaltet werden, die sich bezüglich der Bilddarstellung und somit bezüglich der auf dem Display angezeigten Ansicht untereinander unterscheiden. Es kann somit beispielsweise vorkommen, dass der Betriebsmodus des Displays und somit die Ansicht auf dem Display durch den Fahrer selbst geändert wird. Um in jedem Betriebsmodus des Displays jeweils eine optimale Bilddarstellung auf dem Display bereitstellen zu können, können die Transformationsdaten für die Transformation des Bilds separat für jeden Betriebsmodus des Displays erzeugt werden. Die Transformationsdaten können somit individuell und spezifisch für jeden der Betriebsmodi des Displays bereitgestellt werden. Umfasst das Kamerasystem mehrere Kameras, so kann auch vorgesehen sein, dass die Transformationsdaten separat für jede Kamera und für jeden Betriebsmodus des Displays erzeugt werden. So können beispielsweise in einem Betriebsmodus, in welchem das „Bird Eye View“ auf dem Display erzeugt wird, andere Transformationsdaten für die Rückfahrkamera erzeugt werden als in einem Betriebsmodus, in welchem die erzeugte Bilddarstellung auf dem Display ausschließlich auf den Bildern der Rückfahrkamera basiert. Abhängig von dem Betriebsmodus des Displays können somit unterschiedliche Transformationsdaten für ein und dieselbe Kamera erzeugt werden.The display or the camera system can be switched between at least two operating modes, which differ from one another in terms of the image representation and thus in terms of the view shown on the display. It can therefore happen, for example, that the company mode of the display and thus the view on the display is changed by the driver himself. In order to be able to provide an optimal image representation on the display in each operating mode of the display, the transformation data for transforming the image can be generated separately for each operating mode of the display. The transformation data can therefore be provided individually and specifically for each of the operating modes of the display. If the camera system includes several cameras, it can also be provided that the transformation data is generated separately for each camera and for each operating mode of the display. For example, in an operating mode in which the “bird eye view” is generated on the display, different transformation data for the rear view camera can be generated than in an operating mode in which the image representation generated on the display is based exclusively on the images from the rear view camera. Depending on the operating mode of the display, different transformation data can be generated for one and the same camera.

Vorzugsweise wird ein Umschalten des Displays von einem bisherigen Betriebsmodus in einen anderen, aktuellen Betriebsmodus durch die Bildverarbeitungseinrichtung erfasst. Die Transformationsdaten für diesen aktuellen Betriebsmodus können dann direkt beim Umschalten und somit aufgrund des Umschaltens des Displays in den aktuellen Betriebsmodus erzeugt werden. Dies bedeutet beispielsweise, dass bei der Inbetriebnahme der Antriebsmaschine oder bei dem Aktivieren der Zündung die Transformationsdaten ausschließlich für den aktuell aktivierten Betriebsmodus des Displays, und insbesondere für alle Aufhängungsmodi des Aufhängungssystems, erzeugt werden. Wird das Display dann im Betrieb des Kraftfahrzeugs in einen anderen Betriebsmodus umgeschaltet, so werden die Transformationsdaten auch für diesen neuen Betriebsmodus erzeugt, insbesondere auch für alle Aufhängungsmodi. Zum Erzeugen der Transformationsdaten für den neuen Betriebsmodus des Displays können dabei die Messwerte des Fahrzeugniveaus genutzt werden, die entweder zuvor vor der Inbetriebnahme der Antriebsmaschine oder vor dem Aktivieren der Zündung erfasst wurden oder aber aktuell mittels des zumindest einen Sensors erfasst werden.A switching of the display from a previous operating mode to another, current operating mode is preferably detected by the image processing device. The transformation data for this current operating mode can then be generated directly when switching and thus due to the display switching to the current operating mode. This means, for example, that when the drive engine is started up or the ignition is activated, the transformation data is generated exclusively for the currently activated operating mode of the display, and in particular for all suspension modes of the suspension system. If the display is then switched to a different operating mode while the motor vehicle is operating, the transformation data is also generated for this new operating mode, in particular for all suspension modes. To generate the transformation data for the new operating mode of the display, the measured values of the vehicle level can be used, which were either previously recorded before the drive engine was put into operation or before the ignition was activated, or are currently recorded using the at least one sensor.

Die Generierung der Transformationsdaten beim Umschalten des Displays hat den Vorteil, dass die Rechenleistung der Bildverarbeitungseinrichtung optimal ausgenutzt werden kann, weil die Transformationsdaten nicht gleichzeitig für alle Betriebsmodi des Displays und alle Aufhängungsmodi des Fahrzeugs generiert werden müssen und die Generierung der Transformationsdaten somit über die Zeit verteilt werden kann. Es wird somit außerdem auch eine unnötige Erzeugung von Transformationsdaten für denjenigen Betriebsmodus des Displays verhindert, welcher im aktuellen Betrieb des Kraftfahrzeugs überhaupt nicht aktiviert wird. Somit kann die Rechenleistung gespart werden.Generating the transformation data when switching the display has the advantage that the computing power of the image processing device can be optimally utilized because the transformation data does not have to be generated simultaneously for all operating modes of the display and all suspension modes of the vehicle and the generation of the transformation data is therefore distributed over time can be. This also prevents unnecessary generation of transformation data for the operating mode of the display that is not activated at all during the current operation of the motor vehicle. This means that computing power can be saved.

Wie bereits ausgeführt, können auch mehrere Sensoren eingesetzt werden, die an dem Kraftfahrzeug verteilt angeordnet sind (zum Beispiel in den jeweiligen Stoßdämpfern) und jeweils das Fahrzeugniveau an dem jeweiligen Einbauort erfassen. Sind mehrere Sensoren vorhanden, so kann anhand von Messwerten der Sensoren auch die genaue aktuelle Position und/oder die aktuelle Ausrichtung der Kamera relativ zum Untergrund bzw. Boden, auf welchem sich das Kraftfahrzeug befindet, bestimmt werden. Die Transformationsdaten können dann auf der Grundlage der so ermittelten Position und/oder Ausrichtung der Kamera erzeugt werden. Ist die genaue Position und/oder die Ausrichtung der Kamera bekannt, so kann beispielsweise der Viewport des Bilds derart optimal definiert werden, dass auf dem Display die gewünschte Ansicht erzeugt werden kann.As already stated, several sensors can also be used, which are arranged distributed on the motor vehicle (for example in the respective shock absorbers) and each detect the vehicle level at the respective installation location. If there are several sensors, the exact current position and/or the current orientation of the camera relative to the surface or ground on which the motor vehicle is located can also be determined based on measured values from the sensors. The transformation data can then be generated based on the position and/or orientation of the camera thus determined. If the exact position and/or orientation of the camera is known, the viewport of the image can, for example, be optimally defined in such a way that the desired view can be generated on the display.

Optional können bei der Bestimmung der aktuellen Position und/oder Ausrichtung der Kamera auch Messwerte eines Sturzsensors (tilt sensor) zumindest eines Rades des Kraftfahrzeugs berücksichtigt werden, was die Genauigkeit weiterhin verbessert.Optionally, when determining the current position and/or orientation of the camera, measured values from a tilt sensor of at least one wheel of the motor vehicle can also be taken into account, which further improves the accuracy.

Es kann auch vorgesehen sein, dass basierend auf der Überwachung der Fahrzeugaufhängungshöhen (Fahrzeugniveau) ein Verhalten des Aufhängungssystems in Bezug auf das Fahrzeugniveau durch die Bildverarbeitungseinrichtung vorhergesagt werden kann. Wenn die Aufhängung zum Beispiel das Fahrzeugmindesthöhenniveau (aufgrund des Dämpferverhaltens) erreicht, kann die Bildverarbeitungsvorrichtung voraussagen, dass das Aufhängungssystem beginnen wird, sich wieder zurück hoch zu bewegen, hierbei das Fahrzeughöhenniveau erhöhend. Diese Vorhersage kann auf einem Aufhängungsverhaltenmodell basieren. In Abhängigkeit von dieser Vorhersage können die Transformationsdaten angepasst werden.It can also be provided that based on the monitoring of the vehicle suspension heights (vehicle level), a behavior of the suspension system in relation to the vehicle level can be predicted by the image processing device. For example, when the suspension reaches the minimum vehicle ride height (due to damper performance), the image processing device may predict that the suspension system will begin to move back up, thereby increasing the vehicle ride height. This prediction can be based on a suspension behavior model. Depending on this prediction, the transformation data can be adjusted.

Die Erfindung betrifft außerdem ein Kamerasystem für ein Kraftfahrzeug, umfassend zumindest eine Kamera zum Bereitstellen eines Bilds eines Umgebungsbereichs des Kraftfahrzeugs, sowie umfassend eine Bildverarbeitungseinrichtung zum Transformieren des Bilds zu einer Bilddarstellung unter Verwendung von Transformationsdaten sowie unter Berücksichtigung von Kameraparametern der Kamera, wobei die Bilddarstellung zum Anzeigen auf einem Display vorgesehen ist. Die Bildverarbeitungseinrichtung ist dazu ausgelegt, die Transformationsdaten abhängig von einem gemessenen Fahrzeugniveau im Betrieb des Kamerasystems zu erzeugen.The invention also relates to a camera system for a motor vehicle, comprising at least one camera for providing an image of a surrounding area of the motor vehicle, and comprising an image processing device for transforming the image into an image representation using transformation data and taking into account camera parameters of the camera, the image representation for Displays on a display is provided. The image processing device is designed to process the transformation data depending on a measured driving to generate the vehicle level in the operation of the camera system.

Ein erfindungsgemäßes Kraftfahrzeug, insbesondere ein Personenkraftwagen, umfasst ein erfindungsgemäßes Kamerasystem.A motor vehicle according to the invention, in particular a passenger car, comprises a camera system according to the invention.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.The preferred embodiments and their advantages presented with reference to the method according to the invention apply accordingly to the camera system according to the invention and to the motor vehicle according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.Further features of the invention emerge from the claims, the figures and the description of the figures. All features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and/or shown in the figures alone can be used not only in the combination specified in each case, but also in other combinations or on their own.

Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.The invention will now be explained in more detail using a preferred exemplary embodiment and with reference to the accompanying drawings.

Es zeigen:

  • 1 in schematischer Darstellung ein Kraftfahrzeug mit einem Kamerasystem gemäß einer Ausführungsform der Erfindung;
  • 2 ein Blockdiagramm zur Erläuterung einer Bildtransformation;
  • 3 ein weiteres Blockdiagramm;
  • 4 und 5 ein beispielhaftes Rohbild sowie eine beispielhafte Bilddarstellung, welche mittels einer Bildtransformation des Rohbilds bereitgestellt wird;
  • 6 ein Flussdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung; und
  • 7 und 8 schematische Darstellungen zur Erläuterung der Problematik beim Zusammenstellen von Bildern unterschiedlicher Kameras.
Show it:
  • 1 a schematic representation of a motor vehicle with a camera system according to an embodiment of the invention;
  • 2 a block diagram for explaining an image transformation;
  • 3 another block diagram;
  • 4 and 5 an exemplary raw image and an exemplary image representation, which is provided by means of an image transformation of the raw image;
  • 6 a flowchart of a method according to an embodiment of the invention; and
  • 7 and 8th Schematic representations to explain the problems when compiling images from different cameras.

Ein in 1 dargestelltes Kraftfahrzeug 1 ist beispielsweise ein Personenkraftwagen. Das Kraftfahrzeug 1 umfasst ein Kamerasystem 2, welches im Ausführungsbeispiel eine Vielzahl von Kameras 3, 4, 5, 6 aufweist, die an dem Kraftfahrzeug 1 verteilt angeordnet sind. Im Ausführungsbeispiel sind vier Kameras 3, 4, 5, 6 vorgesehen, wobei die Erfindung nicht auf eine solche Anzahl und Anordnung der Kameras 3, 4, 5, 6 beschränkt ist. Es kann grundsätzlich eine beliebige Anzahl von Kameras verwendet werden, welche an unterschiedlichen Stellen des Kraftfahrzeugs 1 angeordnet sein können. Alternativ zu einem solchen Multikamerasystem 2 kann auch ein Kamerasystem 2 mit einer einzigen Kamera verwendet werden.An in 1 Motor vehicle 1 shown is, for example, a passenger car. The motor vehicle 1 includes a camera system 2, which in the exemplary embodiment has a plurality of cameras 3, 4, 5, 6 which are arranged distributed on the motor vehicle 1. In the exemplary embodiment, four cameras 3, 4, 5, 6 are provided, although the invention is not limited to such a number and arrangement of cameras 3, 4, 5, 6. In principle, any number of cameras can be used, which can be arranged at different locations on the motor vehicle 1. As an alternative to such a multi-camera system 2, a camera system 2 with a single camera can also be used.

Eine erste Kamera 3 ist beispielsweise am vorderen Stoßfänger des Kraftfahrzeugs 1 angeordnet. Eine zweite Kamera 4 ist zum Beispiel im Heckbereich angeordnet, etwa am hinteren Stoßfänger oder an einer Heckklappe. Die beiden seitlichen Kameras 5, 6 können zum Beispiel in die jeweiligen Außenspiegel integriert sein. Die Kameras 3, 4, 5, 6 sind mit einer zentralen Bildverarbeitungseinrichtung 7 elektrisch gekoppelt, welche wiederum mit einem Display 8 gekoppelt ist. Das Display 8 ist eine beliebige Anzeigeeinrichtung, beispielsweise ein LCD-Display.A first camera 3 is arranged, for example, on the front bumper of the motor vehicle 1. A second camera 4 is arranged, for example, in the rear area, for example on the rear bumper or on a tailgate. The two side cameras 5, 6 can be integrated into the respective exterior mirrors, for example. The cameras 3, 4, 5, 6 are electrically coupled to a central image processing device 7, which in turn is coupled to a display 8. The display 8 is any display device, for example an LCD display.

Die Kameras 3, 4, 5, 6 sind Video-Kameras, welche jeweils eine Sequenz von Bildern pro Zeiteinheit aufnehmen und an die Bildverarbeitungseinrichtung 7 übermitteln können. Die Kameras 3, 4, 5, 6 weisen jeweils einen relativ großen Öffnungswinkel auf, etwa in einem Wertebereich von 150° bis 200°. Für die Kameras 3, 4, 5, 6 können beispielsweise so genannte Fischaugenlinsen eingesetzt werden. Die Kameras 3, 4, 5, 6 können zum Beispiel CCD-Kameras oder CMOS-Kameras sein.The cameras 3, 4, 5, 6 are video cameras, which can each record a sequence of images per unit of time and transmit it to the image processing device 7. The cameras 3, 4, 5, 6 each have a relatively large opening angle, approximately in a value range of 150° to 200°. For example, so-called fisheye lenses can be used for the cameras 3, 4, 5, 6. The cameras 3, 4, 5, 6 can be, for example, CCD cameras or CMOS cameras.

Die Kamera 3 erfasst einen Umgebungsbereich 9 vor dem Kraftfahrzeug 1. Die Kamera 4 erfasst einen Umgebungsbereich 10 hinter dem Kraftfahrzeug 1. Die Kamera 5 erfasst einen seitlichen Umgebungsbereich 10 links neben dem Kraftfahrzeug 1, während die Kamera 6 einen Umgebungsbereich 12 auf der rechten Seite des Kraftfahrzeugs 1 erfasst. Die Kameras 3, 4, 5, 6 stellen Bilder der jeweiligen Umgebungsbereiche 9, 10, 11, 12 bereit und übermitteln diese Bilder an die Bildverarbeitungseinrichtung 7. Wie aus 1 hervorgeht, können sich die abgebildeten Umgebungsbereiche 9, 10, 11, 12 auch gegenseitig paarweise überlappen.The camera 3 captures a surrounding area 9 in front of the motor vehicle 1. The camera 4 captures an surrounding area 10 behind the motor vehicle 1. The camera 5 captures a lateral surrounding area 10 to the left of the motor vehicle 1, while the camera 6 captures an surrounding area 12 on the right side of the motor vehicle 1 Motor vehicle 1 recorded. The cameras 3, 4, 5, 6 provide images of the respective surrounding areas 9, 10, 11, 12 and transmit these images to the image processing device 7. As shown 1 As can be seen, the depicted surrounding areas 9, 10, 11, 12 can also overlap each other in pairs.

Zu jedem Rad des Kraftfahrzeugs 1 kann jeweils ein Sensor 13 vorgesehen sein, mittels welchem das Fahrzeugniveau und somit die Bodenfreiheit des Kraftfahrzeugs 1 an dem jeweiligen Einbauort des Sensors 13 erfasst wird. Allgemein gesagt, können die Sensoren 13 in den jeweiligen Eckbereichen des Kraftfahrzeugs 1 angeordnet sein. Beispielsweise sind die Sensoren 13 in die jeweiligen Stoßdämpfer integriert und messen somit eine relative Position des Kolbens relativ zum Zylinder. Die jeweiligen Messwerte der Sensoren 13 kann die Bildverarbeitungseinrichtung 7 beispielsweise an einem Kommunikationsbus des Kraftfahrzeugs 1 - zum Beispiel dem CAN-Bus - abgreifen.A sensor 13 can be provided for each wheel of the motor vehicle 1, by means of which the vehicle level and thus the ground clearance of the motor vehicle 1 is detected at the respective installation location of the sensor 13. Generally speaking, the sensors 13 can be arranged in the respective corner areas of the motor vehicle 1. For example, the sensors 13 are integrated into the respective shock absorbers and thus measure a relative position of the piston relative to the cylinder. The image processing device 7 can pick up the respective measured values of the sensors 13, for example on a communication bus of the motor vehicle 1 - for example the CAN bus.

Im Ausführungsbeispiel weist das Kraftfahrzeug 1 ein nicht näher dargestelltes Aufhängungssystem auf, welches in zumindest zwei Aufhängungsmodi betrieben wird, die sich bezüglich des Fahrzeugniveaus untereinander unterscheiden. Beispielsweise werden drei Aufhängungsmodi bereitgestellt, wie zum Beispiel: ein Standardmodus mit einem mittleren Fahrzeugniveau, ein sportlicher Aufhängungsmodus mit einem tiefen Fahrzeugniveau sowie ein Offroad-Aufhängungsmodus mit einem relativ hohen Fahrzeugniveau. Es ist insbesondere vorgesehen, dass der aktuelle Aufhängungsmodus durch den Fahrer des Kraftfahrzeugs 1 ausgewählt werden kann. Grundsätzlich sind die Fahrzeugniveaus für die jeweiligen Aufhängungsmodi werkseitig vorgegeben, sodass auch die Differenzen zwischen den Fahrzeugniveaus der unterschiedlichen Aufhängungsmodi bekannt sind. Diese Differenzen sind in der Bildverarbeitungseinrichtung 7 abgelegt.In the exemplary embodiment, the motor vehicle 1 has a suspension system, not shown, which is operated in at least two suspension modes that differ from each other with regard to the vehicle level. For example, three suspension modes are provided, such as: a standard mode with a medium vehicle level, a sport suspension mode with a low vehicle level, and an off-road suspension mode with a relatively high vehicle level. In particular, it is provided that the current suspension mode can be selected by the driver of the motor vehicle 1. Basically, the vehicle levels for the respective suspension modes are specified at the factory, so that the differences between the vehicle levels of the different suspension modes are also known. These differences are stored in the image processing device 7.

Das Display 8 bzw. das Kamerasystem 2 kann zwischen unterschiedlichen Betriebsmodi geschaltet werden, wobei das Umschalten zwischen den unterschiedlichen Betriebsmodi beispielsweise durch den Fahrer selbst unter Verwendung einer entsprechenden Bedieneinrichtung erfolgt. Diese Bedieneinrichtung kann zum Beispiel in das Display 8 integriert sein, welches als Touch-Display ausgeführt sein kann. In diesen unterschiedlichen Betriebsmodi werden unterschiedliche Bilddarstellungen erzeugt, welche auf dem Display 8 angezeigt werden. Mit anderen Worten unterscheiden sich die Betriebsmodi in der Ansicht, welche auf dem Display 8 dargestellt wird.The display 8 or the camera system 2 can be switched between different operating modes, with the switching between the different operating modes being carried out, for example, by the driver himself using a corresponding operating device. This operating device can, for example, be integrated into the display 8, which can be designed as a touch display. In these different operating modes, different image representations are generated, which are shown on the display 8. In other words, the operating modes differ in the view shown on the display 8.

Bezug nehmend auf 2 kann in einem ersten Betriebsmodus zum Beispiel eine Bilddarstellung 14 erzeugt werden, welche auf Bildern I3, I4, I5, I6 aller Kameras 3, 4, 5, 6 basiert. Wie aus 2 hervorgeht, empfängt die Bildverarbeitungseinrichtung 7 die Bilder I3, I4, I5, I6 aller Kameras 3, 4, 5, 6 und erzeugt die Bilddarstellung 14 aus den Bildern I3, I4, I5, I6. Diese Bilddarstellung 14 zeigt das Kraftfahrzeug 1 und die Umgebung 9, 10, 11, 12 beispielsweise aus einer Vogelperspektive und somit von einem Blickpunkt aus, der über dem Kraftfahrzeug 1 liegt. Um diese Bilddarstellung 14 zu erzeugen, werden die Bilder I3, I4, I5, I6 jeweils einer Transformation unterzogen und dann zusammengesetzt. Für die jeweilige Transformation werden Transformationsdaten genutzt, welche in Form einer Look-Up-Tabelle LUT bereitgestellt werden. Für jede Kamera 3, 4, 5, 6 ist dabei eine separate Look-Up-Tabelle LUT vorgesehen.Referring to 2 In a first operating mode, for example, an image representation 14 can be generated which is based on images I3, I4, I5, I6 from all cameras 3, 4, 5, 6. How out 2 , the image processing device 7 receives the images I3, I4, I5, I6 from all cameras 3, 4, 5, 6 and generates the image representation 14 from the images I3, I4, I5, I6. This image representation 14 shows the motor vehicle 1 and the surroundings 9, 10, 11, 12, for example from a bird's eye view and thus from a viewpoint that is above the motor vehicle 1. In order to generate this image representation 14, the images I3, I4, I5, I6 are each subjected to a transformation and then put together. Transformation data is used for the respective transformation, which is provided in the form of a look-up table LUT. A separate look-up table LUT is provided for each camera 3, 4, 5, 6.

Im Rahmen der jeweiligen Transformation wird zunächst eine Teilregion I3', I4', I5', I6' des jeweiligen Bilds I3, I4, I5, I6 bestimmt. Zur Erzeugung der Bilddarstellung 14 werden dann ausschließlich die Teilregionen I3', I4', I5', I6' genutzt. Die Teilregionen I3', I4', I5', I6' sind so genannte Viewports, welche in der jeweiligen Look-Up-Tabelle LUT3, LUT4, LUT5, LUT6 definiert sind. Bei der Bereitstellung des „Bird Eye View“ können beispielsweise Teilregionen I3', I4', I5', I6' verwendet werden, welche den jeweiligen Umgebungsbereich 9, 10, 11, 12 des Kraftfahrzeugs 1 bis zu einer vorbestimmten Entfernung vom Kraftfahrzeug 1 zeigen.As part of the respective transformation, a subregion I3', I4', I5', I6' of the respective image I3, I4, I5, I6 is first determined. To generate the image representation 14, only the sub-regions I3', I4', I5', I6' are then used. The sub-regions I3', I4', I5', I6' are so-called viewports, which are defined in the respective look-up table LUT3, LUT4, LUT5, LUT6. When providing the “Bird Eye View”, sub-regions I3', I4', I5', I6' can be used, for example, which show the respective surrounding area 9, 10, 11, 12 of the motor vehicle 1 up to a predetermined distance from the motor vehicle 1.

Im Rahmen der jeweiligen Bildtransformation wird dann die jeweilige Teilregion I3', I4', I5', I6' in das Koordinatensystem des Displays 8 transformiert. In diesem Zusammenhang stellt die Look-Up-Tabelle LUT3, LUT4, LUT5, LUT6 eine Transformationskarte dar, mittels welcher die Bildpunkte des jeweiligen Bilds I3, I4, I5, I6 entsprechend verändert und auf das Display 8 abgebildet werden. Im Rahmen der jeweiligen Bildtransformation kann auch eine Korrektur der Verzerrung des jeweiligen Bilds I3, I4, I5, I6 vorgenommen werden, welche durch die oben genannte Fischaugenlinse verursacht wird.As part of the respective image transformation, the respective sub-region I3', I4', I5', I6' is then transformed into the coordinate system of the display 8. In this context, the look-up table LUT3, LUT4, LUT5, LUT6 represents a transformation map by means of which the pixels of the respective image I3, I4, I5, I6 are changed accordingly and displayed on the display 8. As part of the respective image transformation, a correction of the distortion of the respective image I3, I4, I5, I6 can also be carried out, which is caused by the above-mentioned fisheye lens.

Wie aus 2 weiterhin hervorgeht, überlappen sich die Teilregionen I3', I4', I5', I6' in der Bilddarstellung 14 (Bird Eye View) paarweise in Überlappungsbereichen 15. Auch diese Überlappungsbereiche 15 und somit die Zusammensetzung der Teilregionen I3', I4', I5', I6' werden durch die Transformationsdaten LUT3, LUT4, LUT5, LUT6 vorgegeben.How out 2 Furthermore, the sub-regions I3', I4', I5', I6' in the image representation 14 (bird eye view) overlap in pairs in overlap areas 15. These overlap areas 15 and thus the composition of the sub-regions I3', I4', I5' also overlap. 'I6' are specified by the transformation data LUT3, LUT4, LUT5, LUT6.

Ein weiterer Betriebsmodus des Displays 8 wird unter Bezugnahme auf 3 näher erläutert. Hier wird auf dem Display 8 eine Bilddarstellung 14 angezeigt, welche ausschließlich auf den Bildern einer einzigen Kamera basiert, nämlich beispielsweise der Rückfahrkamera 4. Diese Situation entspricht auch einem Kamerasystem 2, bei welchem lediglich eine einzige Kamera eingesetzt wird. Die Kamera 4 liefert die Bilder I4 an die Bildverarbeitungseinrichtung 7, welche die Bildtransformation der Bilder I4 zu der Bilddarstellung 14 durchführt. Auch hier werden Transformationsdaten genutzt, die in Form einer Look-Up-Tabelle LUT 4' bereitgestellt werden. Diese Bildtransformation beinhaltet, dass aus dem Bild 14 eine Teilregion I4' (Viewport) ausgewählt wird und diese Teilregion I4' dann in das Koordinatensystem des Displays 8 transformiert wird. Hierbei wird auch die oben genannte Verzerrungskorrektur vorgenommen.Another operating mode of the display 8 is described with reference to 3 explained in more detail. Here, an image representation 14 is shown on the display 8, which is based exclusively on the images from a single camera, namely, for example, the rear view camera 4. This situation also corresponds to a camera system 2 in which only a single camera is used. The camera 4 delivers the images I4 to the image processing device 7, which carries out the image transformation of the images I4 to the image representation 14. Here too, transformation data is used, which is provided in the form of a look-up table LUT 4'. This image transformation involves selecting a sub-region I4' (viewport) from the image 14 and then transforming this sub-region I4' into the coordinate system of the display 8. The distortion correction mentioned above is also carried out here.

Eine beispielhafte Bildtransformation des Bilds I4 der Kamera 4 ist in den 4 und 5 dargestellt. In 4 ist dabei ein beispielhaftes Rohbild I4 der Kamera 4 gezeigt. Wie aus 4 hervorgeht, wird eine Fischaugenlinse verwendet, welche eine relativ große Verzerrung des Bilds I4, insbesondere in den Randbereichen, verursacht. Wird dieses Bild I4 unter Verwendung der Look-Up-Tabelle LUT4' transformiert, so entsteht eine Bilddarstellung 14, wie sie beispielhaft in 5 gezeigt ist. Wie aus den 4 und 5 hervorgeht, wird für die Bilddarstellung 14 lediglich eine Teilregion des Bilds I4 genutzt, die dann auch hinsichtlich der Verzerrung korrigiert und an das Display 8 angepasst wird.An exemplary image transformation of the image I4 of the camera 4 is in the 4 and 5 shown. In 4 an exemplary raw image I4 from the camera 4 is shown. How out 4 As can be seen, a fisheye lens is used, which causes a relatively large distortion of the image I4, especially in the edge areas. If this image I4 is transformed using the look-up table LUT4', an image representation 14 is created, as exemplified in 5 is shown. Like from the 4 and 5 As can be seen, only a partial region of the image I4 is used for the image display 14, which is then corrected for distortion and adapted to the display 8.

Bei der Erzeugung der Transformationsdaten LUT müssen auch Kameraparameter der jeweiligen Kameras 3, 4, 5, 6 berücksichtigt werden. Diese Kameraparameter beinhalten insbesondere den jeweiligen Einbauort der Kameras 3, 4, 5, 6 - d.h. die Position der Kameras 3, 4, 5, 6 in einem zur Fahrzeugkarosserie definierten Koordinatensystem x, y, z (siehe 1) - sowie die Ausrichtung der Kameras 3, 4, 5, 6, welche durch drei Winkelwerte definiert ist: Rx - Ausrichtungswinkel um die x-Achse, Ry - Ausrichtungswinkel um die y-Achse, und Rz - Ausrichtungswinkel um die z-Achse des Kraftfahrzeugs 1. Die Kameraparameter können auch die Eigenschaften der verwendeten Linse beinhalten, wie beispielsweise Informationen über die verursachte Verzerrung.When generating the transformation data LUT, camera parameters of the respective cameras 3, 4, 5, 6 must also be taken into account. These camera parameters include in particular the respective installation location of the cameras 3, 4, 5, 6 - ie the position of the cameras 3, 4, 5, 6 in a coordinate system x, y, z defined for the vehicle body (see 1 ) - as well as the alignment of the cameras 3, 4, 5, 6, which is defined by three angle values: Rx - alignment angle around the x-axis, Ry - alignment angle around the y-axis, and Rz - alignment angle around the z-axis of the Motor vehicle 1. The camera parameters can also include the properties of the lens used, such as information about the distortion caused.

Zwar ist das Fahrzeugniveau in den jeweiligen Aufhängungsmodi grundsätzlich werkseitig vorgegeben, jedoch hat es sich herausgestellt, dass das Fahrzeugniveau in allen Aufhängungsmodi auch durch andere Faktoren beeinflusst wird, wie beispielsweise durch die Beladung des Kraftfahrzeugs 1 oder dadurch, dass ein Anhänger angekuppelt wird. Dadurch ändert sich auch die Position und die Ausrichtung aller Kameras 3, 4, 5, 6 relativ zum Boden bzw. zur Straße. Würden die Transformationsdaten LUT (insbesondere die jeweiligen Viewports) konstant bleiben, würde sich auch die jeweilige Bilddarstellung 14 abhängig von dem aktuellen Fahrzeugniveau ändern. Diese Problematik kann anhand der 7 und 8 am Beispiel des „Bird Eye View“ veranschaulicht werden:

  • Hier werden die Teilregionen I4', I6' der Bilder I4, I6 der Kameras 4, 6 zusammengesetzt und überlappen sich in dem Überlappungsbereich 15 gegenseitig. Bei einem unbeladenen Kraftfahrzeug 1 wird eine korrekte Bilddarstellung 14 erzeugt, bei welcher die Teilregionen I4', I6' korrekt miteinander zusammengesetzt werden, ohne dass Sprünge oder doppelte Bildstrukturen in der Bilddarstellung 14 entstehen. Dies ist in 7 daran erkennbar, dass Straßenmarkierungen 16, die sowohl in der Teilregion I4' als auch in der Teilregion I6' abgebildet sind, sich gegenseitig überdecken und somit in der Bilddarstellung 14 insgesamt korrekt abgebildet werden. Verändert sich nun die Beladung des Kraftfahrzeugs 1, so ändert sich auch die Höhe der Kameras 3, 4, 5, 6 über dem Boden. Wenn die Transformationsdaten LUT nicht korrigiert werden, wird eine Bilddarstellung 14 gemäß 8 erzeugt, in welcher die in der Teilregion I4' abgebildete Straßenmarkierung 16' nicht mehr an der gleichen Position wie die Straßenmarkierung 16 der Teilregion I6' liegt. In der Bilddarstellung 14 entstehen somit doppelte Bildstrukturen, was zu einer Verwirrung des Fahrers führen kann.
Although the vehicle level in the respective suspension modes is basically predetermined at the factory, it has been found that the vehicle level in all suspension modes is also influenced by other factors, such as the loading of the motor vehicle 1 or the fact that a trailer is coupled. This also changes the position and orientation of all cameras 3, 4, 5, 6 relative to the ground or to the street. If the transformation data LUT (in particular the respective viewports) remained constant, the respective image representation 14 would also change depending on the current vehicle level. This problem can be solved using the 7 and 8th can be illustrated using the example of the “Bird Eye View”:
  • Here the sub-regions I4', I6' of the images I4, I6 of the cameras 4, 6 are put together and overlap each other in the overlap area 15. In the case of an unloaded motor vehicle 1, a correct image representation 14 is generated, in which the sub-regions I4', I6' are correctly assembled with one another without any jumps or duplicate image structures occurring in the image representation 14. This is in 7 It can be seen from the fact that road markings 16, which are depicted in both the sub-region I4' and in the sub-region I6', overlap each other and are therefore correctly depicted overall in the image representation 14. If the load of the motor vehicle 1 changes, the height of the cameras 3, 4, 5, 6 above the ground also changes. If the transformation data LUT is not corrected, an image representation 14 is shown 8th generated in which the road marking 16' depicted in the sub-region I4' is no longer in the same position as the road marking 16 of the sub-region I6'. This creates double image structures in the image display 14, which can lead to confusion for the driver.

Um die Erzeugung einer fehlerhaften Bilddarstellung 14 zu verhindern, werden die Transformationsdaten LUT mittels der Bildverarbeitungseinrichtung 7 im Betrieb des Kamerasystems 2 abhängig von den Messwerten der Sensoren 13 und abhängig von den abgelegten Kameraparametern erzeugt.In order to prevent the generation of an incorrect image representation 14, the transformation data LUT are generated by the image processing device 7 during operation of the camera system 2 depending on the measured values of the sensors 13 and depending on the stored camera parameters.

Ein Verfahren gemäß einer Ausführungsform der Erfindung wird nun Bezug nehmend auf 6 näher erläutert:

  • Das Verfahren startet in einem Schritt S1, in welchem die Zündung des Kraftfahrzeugs 1 und die Antriebsmaschine (Brennkraftmaschine oder Elektromotor) ausgeschaltet sind. Bei ausgeschalteter Zündung werden durch die Bildverarbeitungseinrichtung 7 gemäß Schritt S2 fortlaufend die Messwerte der Sensoren 13 empfangen und abgespeichert. Gemäß Schritt S2 erfolgt also die Messung des Fahrzeugniveaus und somit der aktuellen Fahrwerkshöhe des Kraftfahrzeugs 1 in z-Richtung. Dies ist der optimale Zeitpunkt für die Erfassung der Messwerte, da vor dem Einschalten der Zündung üblicherweise das Kraftfahrzeug 1 beladen wird und sich somit das endgültige statische Fahrzeugniveau einstellt.
A method according to an embodiment of the invention will now be referred to 6 explained in more detail:
  • The method starts in a step S1, in which the ignition of the motor vehicle 1 and the drive machine (internal combustion engine or electric motor) are switched off. When the ignition is switched off, the image processing device 7 continuously receives and stores the measured values from the sensors 13 in accordance with step S2. According to step S2, the vehicle level and thus the current chassis height of the motor vehicle 1 are measured in the z direction. This is the optimal time for recording the measured values, since the motor vehicle 1 is usually loaded before the ignition is switched on and the final static vehicle level is thus established.

Der Fahrer aktiviert nun in einem weiteren Schritt S3 die Zündung des Kraftfahrzeugs 1 oder die Antriebsmaschine, sodass das Kraftfahrzeug 1 „gestartet“ wird. Mit anderen Worten erfolgt gemäß Schritt S3 zumindest die Aktivierung des Bordnetzes des Kraftfahrzeugs 1. Dies wird durch die Bildverarbeitungseinrichtung 7 erfasst. Zusätzlich wird durch die Bildverarbeitungseinrichtung 7 überprüft, welcher der Aufhängungsmodi des Aufhängungssystems aktuell aktiviert ist. Diese Information kann beispielsweise an dem genannten Kommunikationsbus abgegriffen werden.The driver now activates the ignition of the motor vehicle 1 or the drive engine in a further step S3, so that the motor vehicle 1 is “started”. In other words, according to step S3, at least the on-board electrical system of the motor vehicle 1 is activated. This is detected by the image processing device 7. In addition, the image processing device 7 checks which of the suspension modes of the suspension system is currently activated. This information can be picked up, for example, on the communication bus mentioned.

In einem weiteren Schritt S4 generiert die Bildverarbeitungseinrichtung 7 zumindest für den aktuell aktivierten Betriebsmodus des Displays 8 die Transformationsdaten LUT. Diese werden gemäß Schritt S4 zunächst für den aktuellen Aufhängungsmodus des Aufhängungssystems generiert. Die Transformationsdaten LUT werden dabei separat für jede Kamera 3, 4, 5, 6 erzeugt. Zum Erzeugen der Transformationsdaten LUT werden die oben genannten Kameraparameter sowie die zuvor gespeicherten Messwerte der Sensoren 13 verwendet. Sind mehrere Sensoren 13 vorhanden, so kann anhand dieser Messwerte die aktuelle Position und Ausrichtung der Kameras 3, 4, 5, 6 relativ zum Boden berechnet und bei der Generierung der Transformationsdaten LUT verwendet werden. Dies kann optional auch so aussehen, dass zum Generieren der Transformationsdaten LUT eine vorgegebene Look-Up-Tabelle verwendet wird, die eine Vorlage darstellt und werkseitig in der Bildverarbeitungseinrichtung 7 abgelegt wird. Diese vorgegebene Look-Up-Tabelle kann bereits die Position und Ausrichtung der jeweiligen Kamera 3, 4, 5, 6 beinhalten. Wird dann durch die Bildverarbeitungseinrichtung 7 festgestellt, dass die aktuelle Position und/oder Ausrichtung von der abgespeicherten Position respektive Ausrichtung abweicht, so kann die Look-Up-Tabelle abhängig von den Messwerten entsprechend korrigiert werden. Die Erzeugung der Referenzdaten LUT kann somit umfassen, dass eine bereits in der Bildverarbeitungseinrichtung 7 abgelegte Look-Up-Tabelle korrigiert und/oder vervollständigt wird.In a further step S4, the image processing device 7 generates the transformation data LUT at least for the currently activated operating mode of the display 8. These are first generated according to step S4 for the current suspension mode of the suspension system. The transformation data LUT are generated separately for each camera 3, 4, 5, 6. To generate the transformation data LUT, the above-mentioned camera parameters and the previously stored measured values of the sensors 13 are used. If there are several sensors 13, these measured values can be used to determine the current position and orientation of the cameras 3, 4, 5, 6 relative to the Soil can be calculated and used in generating the transformation data LUT. This can optionally also take the form that a predetermined look-up table is used to generate the transformation data LUT, which represents a template and is stored in the image processing device 7 at the factory. This predetermined look-up table can already contain the position and orientation of the respective camera 3, 4, 5, 6. If the image processing device 7 then determines that the current position and/or orientation deviates from the stored position or orientation, the look-up table can be corrected accordingly depending on the measured values. The generation of the reference data LUT can therefore include correcting and/or completing a look-up table already stored in the image processing device 7.

In einem weiteren Schritt S5 können die Transformationsdaten LUT auch für die anderen, aktuell nicht aktivierten Aufhängungsmodi des Kraftfahrzeugs 1 erzeugt werden. Dies ist möglich, da die Differenz in dem Fahrzeugniveau zwischen den unterschiedlichen Aufhängungsmodi bekannt ist. Die Transformationsdaten LUT können also auch für die anderen, aktuell nicht aktivierten Aufhängungsmodi generiert werden. In einem weiteren Schritt S6 wird dann durch die Bildverarbeitungseinrichtung 7 überprüft, ob der Fahrer den Aufhängungsmodus ändert oder nicht. Ist dies der Fall, so werden auf die Bilder I3, I4, I5, I6 neue Transformationsdaten LUT angewendet, welche zuvor für den neuen Aufhängungsmodus bereits erzeugt wurden.In a further step S5, the transformation data LUT can also be generated for the other, currently not activated suspension modes of the motor vehicle 1. This is possible because the difference in vehicle level between the different suspension modes is known. The LUT transformation data can also be generated for the other suspension modes that are not currently activated. In a further step S6, the image processing device 7 then checks whether the driver changes the suspension mode or not. If this is the case, new transformation data LUT is applied to the images I3, I4, I5, I6, which were previously generated for the new suspension mode.

Gemäß Schritt S6 kann die Bildverarbeitungseinrichtung 7 auch überprüfen, ob der Fahrer oder ein anderer Benutzer den Betriebsmodus des Displays 8 und somit die Bilddarstellung 14 ändert. Wird dies detektiert, so erzeugt die Bildverarbeitungseinrichtung 7 neue Transformationsdaten für die aktuelle Ansicht (für den aktuellen Betriebsmodus des Displays 8) anhand der abgelegten Kameraparameter und der aktuellen Messwerte der Sensoren 13. Diese neuen Transformationsdaten LUT können für die neue Ansicht für alle drei Aufhängungsmodi erzeugt werden.According to step S6, the image processing device 7 can also check whether the driver or another user changes the operating mode of the display 8 and thus the image representation 14. If this is detected, the image processing device 7 generates new transformation data for the current view (for the current operating mode of the display 8) based on the stored camera parameters and the current measured values of the sensors 13. These new transformation data LUT can be generated for the new view for all three suspension modes become.

Wird der Offroad-Aufhängungsmodus aktiviert, wenn sich das Kraftfahrzeug 1 im Gelände befindet, so können die Messwerte der Sensoren 13 auch fortlaufend während der Fahrt erfasst werden. Beispielsweise werden die Messwerte in vorbestimmten Zeitabständen durch die Bildverarbeitungseinrichtung 7 erfasst und ausgewertet. Dann können in dem Offroad-Aufhängungsmodus auch die Transformationsdaten LUT fortlaufend während der Fahrt anhand der jeweils aktuellen Messwerte des Fahrzeugniveaus aktualisiert und somit dynamisch angepasst werden. Dies ist insbesondere in einem unebenen Gelände vorteilhaft, da die häufigen Änderungen des Fahrzeugniveaus schnell kompensiert werden können und somit stets eine optimale Ansicht auf dem Display 8 angezeigt werden kann. Dies wird dadurch ermöglicht, dass das aktuelle Fahrzeugniveau und die aktuelle Höhe und/oder die Ausrichtung der Kameras 3, 4, 5, 6 während der Fahrt erfasst und die Transformationsdaten LUT dynamisch angepasst werden.If the off-road suspension mode is activated when the motor vehicle 1 is off-road, the measured values of the sensors 13 can also be recorded continuously while driving. For example, the measured values are recorded and evaluated at predetermined time intervals by the image processing device 7. Then, in the off-road suspension mode, the transformation data LUT can also be continuously updated while driving based on the current measured values of the vehicle level and thus dynamically adjusted. This is particularly advantageous in uneven terrain, since the frequent changes in the vehicle level can be quickly compensated for and an optimal view can therefore always be shown on the display 8. This is made possible by detecting the current vehicle level and the current height and/or the orientation of the cameras 3, 4, 5, 6 while driving and dynamically adapting the transformation data LUT.

Claims (12)

Verfahren zum Betreiben eines Kamerasystems (2) eines Kraftfahrzeugs (1), folgende Schritte umfassend: - Bereitstellen eines Bilds (I3, I4, I5, I6) eines Umgebungsbereichs (9, 10, 11, 12) des Kraftfahrzeugs (1) mittels einer Kamera (3, 4, 5, 6) des Kamerasystems (2), - Transformieren des Bilds (I3, I4, I5, I6) zu einer Bilddarstellung (14) unter Verwendung von Transformationsdaten (LUT) mittels einer Bildverarbeitungseinrichtung (7), wobei beim Transformieren des Bilds (I3, I4, I5, I6) Kameraparameter der Kamera (3, 4, 5, 6) berücksichtigt werden, und - Anzeigen der Bilddarstellung (14) auf einem Display (8) des Kamerasystems (2), dadurch gekennzeichnet, dass mittels zumindest eines Sensors (13) des Kraftfahrzeugs (1) ein aktuelles Fahrzeugniveau des Kraftfahrzeugs (1) erfasst wird und die Transformationsdaten (LUT) abhängig von dem Fahrzeugniveau im Betrieb des Kamerasystems (2) erzeugt werden, wobei das Display (8) zwischen zumindest zwei Betriebsmodi geschaltet wird, die sich bezüglich der Bilddarstellung (14) untereinander unterscheiden, wobei die Transformationsdaten (LUT) für die Transformation des Bilds (I3, I4, I5, I6) separat für jeden Betriebsmodus des Displays (8) erzeugt werden.Method for operating a camera system (2) of a motor vehicle (1), comprising the following steps: - Providing an image (I3, I4, I5, I6) of a surrounding area (9, 10, 11, 12) of the motor vehicle (1) by means of a camera (3, 4, 5, 6) of the camera system (2), - transforming the image (I3, I4, I5, I6) into an image representation (14) using transformation data (LUT) by means of an image processing device (7), wherein Transforming the image (I3, I4, I5, I6) camera parameters of the camera (3, 4, 5, 6) are taken into account, and - displaying the image representation (14) on a display (8) of the camera system (2), characterized in that in that a current vehicle level of the motor vehicle (1) is detected by means of at least one sensor (13) of the motor vehicle (1) and the transformation data (LUT) are generated depending on the vehicle level during operation of the camera system (2), the display (8) being between at least two operating modes are switched, which differ from one another with regard to the image representation (14), the transformation data (LUT) for the transformation of the image (I3, I4, I5, I6) being generated separately for each operating mode of the display (8). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Erzeugung der Bilddarstellung (14) eine Teilregion (I3', I4', I5', I6') des Bilds (I3, I4, I5, I6) verwendet wird und die Teilregion (I3', I4', I5', I6') durch die Transformationsdaten (LUT) definiert wird, wobei das Erzeugen der Transformationsdaten (LUT) umfasst, dass die Teilregion (I3', I4', I5', I6') des Bilds (I3, I4, I5, I6) abhängig von dem gemessenen Fahrzeugniveau bestimmt wird.Procedure according to Claim 1 , characterized in that a sub-region (I3', I4', I5', I6') of the image (I3, I4, I5, I6) is used to generate the image representation (14) and the sub-region (I3', I4', I5', I6') is defined by the transformation data (LUT), wherein generating the transformation data (LUT) includes the sub-region (I3', I4', I5', I6') of the image (I3, I4, I5, I6) is determined depending on the measured vehicle level. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass zumindest zwei Kameras (3, 4, 5, 6) des Kamerasystems (2) jeweils ein Bild (I3, I4, I5, I6) eines Umgebungsbereichs (9, 10, 11, 12) des Kraftfahrzeugs (1) erfassen und zum Erzeugen der Bilddarstellung (14) jeweilige Teilregionen (I3', I4', I5', I6') der Bilder (I3, I4, I5, I6) derart miteinander kombiniert werden, dass sich die Teilregionen (I3', I4', I5', I6') in einem Überlappungsbereich (15) gegenseitig überlappen, wobei der Überlappungsbereich (15) der jeweiligen Teilregionen (I3', I4', I5', I6') durch die Transformationsdaten (LUT) definiert wird, und wobei das Erzeugen der Transformationsdaten (LUT) umfasst, dass der Überlappungsbereich (15) der jeweiligen Teilregionen (I3', I4', I5', I6') abhängig von dem Fahrzeugniveau bestimmt wird.Procedure according to Claim 1 or 2 , characterized in that at least two cameras (3, 4, 5, 6) of the camera system (2) each produce an image (I3, I4, I5, I6) of a surrounding area (9, 10, 11, 12) of the motor vehicle (1) detect and to generate the image representation (14), respective sub-regions (I3', I4', I5', I6') of the images (I3, I4, I5, I6) are combined with one another in such a way that the sub-regions (I3', I4' , I5', I6') overlap each other in an overlap area (15), the overlap area (15) of the respective sub-regions (I3', I4', I5', I6') is defined by the transformation data (LUT), and wherein generating the transformation data (LUT) includes that the overlap area (15) of the respective sub-regions ( I3', I4', I5', I6') is determined depending on the vehicle level. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Aufhängungssystem des Kraftfahrzeugs (1) zwischen zumindest zwei vorbestimmten Aufhängungsmodi geschaltet wird, die sich bezüglich des Fahrzeugniveaus untereinander unterscheiden, wobei die Transformationsdaten (LUT) für die Transformation des Bilds (I3, I4, I5, I6) separat für jeden Aufhängungsmodus erzeugt werden.Method according to one of the preceding claims, characterized in that a suspension system of the motor vehicle (1) is switched between at least two predetermined suspension modes which differ from one another with respect to the vehicle level, the transformation data (LUT) for the transformation of the image (I3, I4, I5, I6) can be generated separately for each suspension mode. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass durch die Bildverarbeitungseinrichtung (7) der aktuell aktivierte Aufhängungsmodus erfasst wird und für den aktuell aktivierten Aufhängungsmodus die Transformationsdaten (LUT) abhängig von dem gemessenen Fahrzeugniveau erzeugt werden.Procedure according to Claim 4 , characterized in that the currently activated suspension mode is detected by the image processing device (7) and the transformation data (LUT) is generated for the currently activated suspension mode depending on the measured vehicle level. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass zusätzlich zu den Transformationsdaten (LUT) für den aktuell aktivierten Aufhängungsmodus separat auch Transformationsdaten (LUT) für zumindest einen anderen Aufhängungsmodus des Aufhängungssystems abhängig von den Transformationsdaten (LUT) des aktuellen Aufhängungsmodus und/oder abhängig von dem gemessenen Fahrzeugniveau erzeugt werden.Procedure according to Claim 5 , characterized in that in addition to the transformation data (LUT) for the currently activated suspension mode, transformation data (LUT) for at least one other suspension mode of the suspension system are also generated separately depending on the transformation data (LUT) of the current suspension mode and / or depending on the measured vehicle level . Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch die Bildverarbeitungseinrichtung (7) eine Inbetriebnahme einer Antriebsmaschine des Kraftfahrzeugs (1) oder ein Aktivieren einer Zündung des Kraftfahrzeugs (1) erfasst wird und die Transformationsdaten (LUT) mit der Inbetriebnahme der Antriebsmaschine oder mit dem Aktivieren der Zündung erzeugt werden.Method according to one of the preceding claims, characterized in that the image processing device (7) detects a start-up of a drive machine of the motor vehicle (1) or an activation of an ignition of the motor vehicle (1) and the transformation data (LUT) with the start-up of the drive machine or are generated when the ignition is activated. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass vor der Inbetriebnahme der Antriebsmaschine oder vor dem Aktivieren der Zündung das aktuelle Fahrzeugniveau, insbesondere fortlaufend, erfasst wird und die erfassten Messwerte des Fahrzeugniveaus in der Bildverarbeitungseinrichtung (7) für die anschließende Erzeugung der Transformationsdaten (LUT) abgelegt werden.Procedure according to Claim 7 , characterized in that before the drive engine is started up or before the ignition is activated, the current vehicle level is recorded, in particular continuously, and the recorded measured values of the vehicle level are stored in the image processing device (7) for the subsequent generation of the transformation data (LUT). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein Umschalten des Displays (8) von einem bisherigen Betriebsmodus in einen anderen aktuellen Betriebsmodus durch die Bildverarbeitungseinrichtung (7) erfasst wird und mit dem Umschalten des Displays (8) in den aktuellen Betriebsmodus die Transformationsdaten (LUT) für den aktuellen Betriebsmodus erzeugt werden.Procedure according to Claim 1 , characterized in that a switching of the display (8) from a previous operating mode to another current operating mode is detected by the image processing device (7) and with the switching of the display (8) to the current operating mode, the transformation data (LUT) for the current one Operating mode can be generated. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Fahrzeugniveau mittels zumindest zweier Sensoren (13) erfasst wird, die an dem Kraftfahrzeug (1) verteilt angeordnet sind, wobei anhand von Messwerten der zumindest zwei Sensoren (13) eine aktuelle Position und/oder eine aktuelle Ausrichtung der Kamera (3, 4, 5, 6) relativ zu einem Untergrund, auf welchem sich das Kraftfahrzeug (1) befindet, bestimmt wird, und wobei die Transformationsdaten (LUT) abhängig von der Position und/oder Ausrichtung der Kamera (3, 4, 5, 6) erzeugt werden.Method according to one of the preceding claims, characterized in that the vehicle level is detected by means of at least two sensors (13) which are arranged distributed on the motor vehicle (1), a current position and/or or a current orientation of the camera (3, 4, 5, 6) relative to a surface on which the motor vehicle (1) is located is determined, and wherein the transformation data (LUT) depends on the position and / or orientation of the camera (3, 4, 5, 6) are generated. Kamerasystem (2) für ein Kraftfahrzeug (1), mit: - zumindest einer Kamera (3, 4, 5, 6) zum Bereitstellen eines Bilds (I3, I4, I5, I6) eines Umgebungsbereichs (9, 10, 11, 12) des Kraftfahrzeugs (1) und - einer Bildverarbeitungseinrichtung (7) zum Transformieren des Bilds (I3, I4, I5, I6) zu einer Bilddarstellung (14) unter Verwendung von Transformationsdaten (LUT) sowie unter Berücksichtigung von Kameraparametern der Kamera (3, 4, 5, 6), wobei die Bilddarstellung (14) zum Anzeigen auf einem Display (8) vorgesehen ist, dadurch gekennzeichnet, dass die Bildverarbeitungseinrichtung (7) dazu ausgelegt ist, die Transformationsdaten (LUT) abhängig von einem gemessenen Fahrzeugniveau im Betrieb des Kamerasystems (2) zu erzeugen, wobei das Display (8) zwischen zumindest zwei Betriebsmodi geschaltet wird, die sich bezüglich der Bilddarstellung (14) untereinander unterscheiden, wobei die Transformationsdaten (LUT) für die Transformation des Bilds (I3, I4, I5, I6) separat für jeden Betriebsmodus des Displays (8) erzeugt werden.Camera system (2) for a motor vehicle (1), with: - at least one camera (3, 4, 5, 6) for providing an image (I3, I4, I5, I6) of a surrounding area (9, 10, 11, 12) of the motor vehicle (1) and - an image processing device (7) for transforming the image (I3, I4, I5, I6) into an image representation (14) using transformation data (LUT) and taking into account camera parameters of the camera (3, 4, 5, 6), the image representation (14) being intended for display on a display (8), characterized in that the image processing device (7) is designed to display the transformation data (LUT) depending on a measured vehicle level during operation of the camera system ( 2), wherein the display (8) is switched between at least two operating modes that differ from each other with regard to the image representation (14), the transformation data (LUT) for the transformation of the image (I3, I4, I5, I6) being separately can be generated for each operating mode of the display (8). Kraftfahrzeug (1) mit einem Kamerasystem (2) nach Anspruch 11.Motor vehicle (1) with a camera system (2). Claim 11 .
DE102013012808.0A 2013-08-01 2013-08-01 Method for generating a look-up table during operation of a camera system, camera system and motor vehicle Active DE102013012808B4 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102013012808.0A DE102013012808B4 (en) 2013-08-01 2013-08-01 Method for generating a look-up table during operation of a camera system, camera system and motor vehicle
PCT/EP2014/066354 WO2015014883A1 (en) 2013-08-01 2014-07-30 Method for generating a look-up table in the operation of a camera system, camera system and motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013012808.0A DE102013012808B4 (en) 2013-08-01 2013-08-01 Method for generating a look-up table during operation of a camera system, camera system and motor vehicle

Publications (2)

Publication Number Publication Date
DE102013012808A1 DE102013012808A1 (en) 2015-02-05
DE102013012808B4 true DE102013012808B4 (en) 2023-11-23

Family

ID=51300712

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013012808.0A Active DE102013012808B4 (en) 2013-08-01 2013-08-01 Method for generating a look-up table during operation of a camera system, camera system and motor vehicle

Country Status (2)

Country Link
DE (1) DE102013012808B4 (en)
WO (1) WO2015014883A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019000701A1 (en) 2019-01-31 2019-06-13 Daimler Ag Method for controlling a motor vehicle and a motor vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090160940A1 (en) 2007-12-20 2009-06-25 Alpine Electronics, Inc. Image display method and image display apparatus
JP2009253571A (en) 2008-04-04 2009-10-29 Clarion Co Ltd Monitor video image generation device for vehicle
DE102009035422A1 (en) 2009-07-31 2011-02-03 Bayerische Motoren Werke Aktiengesellschaft Method for geometric transformation of image of image sequence generated by infrared camera of motor vehicle, involves transforming source image into virtual, apparent result image, which is received from acquisition perspectives
US20110156887A1 (en) 2009-12-30 2011-06-30 Industrial Technology Research Institute Method and system for forming surrounding seamless bird-view image
DE102010048143A1 (en) 2010-10-11 2011-07-28 Daimler AG, 70327 Method for calibrating camera arranged in vehicle, involves determining current camera parameters in continuous manner and considering current pitch angle of vehicle during calibration
DE102010062589A1 (en) 2010-12-08 2012-06-14 Robert Bosch Gmbh Camera-based method for distance determination in a stationary vehicle

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3599639B2 (en) * 2000-05-26 2004-12-08 松下電器産業株式会社 Image processing device
JP2002293196A (en) * 2001-03-29 2002-10-09 Matsushita Electric Ind Co Ltd Method and device for displaying image of on-vehicle camera
JP2006182108A (en) * 2004-12-27 2006-07-13 Nissan Motor Co Ltd Vehicle surroundings monitoring apparatus
WO2010050162A1 (en) * 2008-10-28 2010-05-06 株式会社パスコ Road measurement device and method for measuring road

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090160940A1 (en) 2007-12-20 2009-06-25 Alpine Electronics, Inc. Image display method and image display apparatus
JP2009253571A (en) 2008-04-04 2009-10-29 Clarion Co Ltd Monitor video image generation device for vehicle
DE102009035422A1 (en) 2009-07-31 2011-02-03 Bayerische Motoren Werke Aktiengesellschaft Method for geometric transformation of image of image sequence generated by infrared camera of motor vehicle, involves transforming source image into virtual, apparent result image, which is received from acquisition perspectives
US20110156887A1 (en) 2009-12-30 2011-06-30 Industrial Technology Research Institute Method and system for forming surrounding seamless bird-view image
DE102010048143A1 (en) 2010-10-11 2011-07-28 Daimler AG, 70327 Method for calibrating camera arranged in vehicle, involves determining current camera parameters in continuous manner and considering current pitch angle of vehicle during calibration
DE102010062589A1 (en) 2010-12-08 2012-06-14 Robert Bosch Gmbh Camera-based method for distance determination in a stationary vehicle

Also Published As

Publication number Publication date
WO2015014883A1 (en) 2015-02-05
DE102013012808A1 (en) 2015-02-05

Similar Documents

Publication Publication Date Title
EP3140813B1 (en) Method and device for the distortion-free display of an area surrounding a vehicle
DE102008062121B4 (en) A vehicle unit having a vehicle corridor display function, a method for displaying a predicted vehicle trajectory, and a system for generating vehicle corridor marks
DE102019100717A1 (en) SYSTEM AND METHOD FOR DETECTING THE POSITION OF A TAILGATE AND FOR ADJUSTING THE OPERATION OF A USER SURFACE DEVICE BASED ON THE TAILGATE POSITION
DE112015004628B4 (en) Imaging device and imaging method
DE102012218937A1 (en) Vehicle suspension system and method of using the same
DE112022001507T5 (en) SUSPENSION CONTROL SYSTEM AND METHOD WITH EVENT DETECTION BASED ON UNSUSPENSIONED MASS ACCELERATION DATA AND PREDICTIVE ROAD DATA
WO2014094941A1 (en) Motor vehicle having a camera monitoring system
DE102021111794A1 (en) Apparatus and method for controlling a suspension of a vehicle
DE102016211227A1 (en) Method and vehicle control system for generating images of an environment model and corresponding vehicle
DE102013103953B4 (en) Lane detection at full speed using multiple cameras
DE102012011888A1 (en) Method for assisting a driver of motor car, involves determining trajectory of motor car based on detected current steering angle of car and displaying graphical representation of trajectory with images of car surrounding region
DE102013103952B4 (en) Lane detection at full speed with an all-round vision system
DE102010049216A1 (en) Method for operating camera i.e. stereo camera, arranged at car, involves detecting distance of object via image evaluation, and calibrating camera when distance determined by sensing unit deviates from distance determined by evaluation
DE102015209764A1 (en) Extrinsic calibration of an image capture device of a vehicle
DE102008026876A1 (en) Stereo camera system and method for determining at least one calibration error of a stereo camera system
DE102018104062A1 (en) DYNAMICALLY ADJUSTABLE BODY HOLDER FOR A MOTOR VEHICLE
DE102020109787A1 (en) Determining an angular position of a component of a motor vehicle
DE102015121537A1 (en) Method for setting chassis parameters and a vehicle
DE112019005706T5 (en) systems and methods for controlling a vehicle camera
DE102018119099A1 (en) VEHICLE TRAILER DETECTION
DE102013012808B4 (en) Method for generating a look-up table during operation of a camera system, camera system and motor vehicle
EP2869267A1 (en) Automatic correction of the yaw alignment of a camera system for a vehicle
DE102011010859B4 (en) Method for operating a camera system in a motor vehicle, camera system and motor vehicle
EP2905156B1 (en) Method for operating an active chassis system of a motor vehicle and motor vehicle
EP3073446A1 (en) Method for representing the surroundings of a vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0001000000

Ipc: B60R0001220000

R018 Grant decision by examination section/examining division