DE102013220477A1 - Method for correcting a pictorial representation of a vehicle environment - Google Patents

Abstract

Verfahren und Vorrichtung zur bildlichen Darstellung einer Fahrzeugumgebung (2), wobei mittels wenigstens einer an einem Fahrzeug angeordneten Kamera (1) Bilder (4) aus zumindest einem Bereich der Fahrzeugumgebung (2) erfasst werden, und wobei die erfassten Bilder (4) auf einer im Sichtbereich eines Fahrers angeordneten Anzeigeeinrichtung angezeigt werden.Method and device for visual representation of a vehicle environment (2), wherein by means of at least one vehicle arranged on a camera (1) images (4) from at least a portion of the vehicle environment (2) are detected, and wherein the captured images (4) on a displayed in the field of view of a driver display device are displayed.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Korrektur der bildlichen Darstellung einer Fahrzeugumgebung, wobei mittels wenigstens einer Kamera Bilder der Fahrzeugumgebung erfasst und einem Fahrzeugführer auf einer Anzeigeeinheit angezeigt werden. The invention relates to a method and a device for correcting the pictorial representation of a vehicle environment, wherein images of the vehicle surroundings are recorded by means of at least one camera and displayed to a driver on a display unit.

Eine Vorrichtung zur bildlichen Darstellung zumindest eines Bereichs der Umgebung eines Fahrzeugs ist beispielsweise aus der DE 197 341 896 C2 bekannt. Die Vorrichtung umfasst dabei zumindest eine Kamera, mit einem Sensor zur Erfassung von Bildinformationen, und zumindest einen Bildschirm, der zur Darstellung der sensorisch erfassten und elektronisch bearbeiteten Bildinformationen ausgebildet und im Innenraum des Fahrzeugs im Sichtbereich des Fahrers angeordnet ist. A device for imaging at least one region of the surroundings of a vehicle is known, for example, from US Pat DE 197 341 896 C2 known. The device comprises at least one camera, with a sensor for acquiring image information, and at least one screen, which is designed to display the sensory and electronically processed image information and arranged in the interior of the vehicle in the driver's field of view.

Weiterhin sind bereits Systeme bekannt, bei denen mittels mehrerer Kameras das gesamte Umfeld des Fahrzeug erfasst wird, und bei denen, aus den mittels der mehreren Kameras erfassten Einzelbildern, ein Gesamtbild der Fahrzeugumgebung generiert und Fahrzeuginsassen zur Anzeige gebracht wird. Derartige Kamerasysteme werden auch als Surround View Systeme bezeichnet, bzw. als Rundumsicht-, Top View oder 360°-Sicht-System. Furthermore, systems are already known in which by means of multiple cameras, the entire environment of the vehicle is detected, and in which, generated from the captured by means of multiple cameras frames, an overall picture of the vehicle environment and vehicle occupants is displayed. Such camera systems are also referred to as surround view systems, or as all-round view, top view or 360 ° sight system.

Insbesondere kamerabasierte Spiegelersatzsysteme, wie beispielsweise aus der DE 10 2007 044 536 A1 bekannt, umfassen eine oder mehrere Bildwiedergabeeinrichtungen, die im Sichtbereich des Fahrzeugführers angeordnet sind und laufend die von Bildaufnahmeeinrichtungen erzeugte Bilddaten wiedergeben. Die Bildaufnahmeeinrichtungen sind dabei meist auf der linken und rechten Seite im Außenbereich des Fahrzeugs angeordnet, beispielsweise im Bereich der A-Säule und mit Blickrichtung nach hinten. In particular, camera-based mirror replacement systems, such as from the DE 10 2007 044 536 A1 are known, comprise one or more image display devices which are arranged in the field of vision of the driver and continuously reproduce the image data generated by image recording devices. The image recording devices are usually arranged on the left and right side in the outer region of the vehicle, for example in the region of the A-pillar and looking backwards.

Bislang werden Vorrichtungen zur bildlichen Darstellung der Fahrzeugumgebung überwiegend für Funktionen bei niedrigen Fahrzeuggeschwindigkeiten eingesetzt, insbesondere zur Unterstützung bzw. Verbesserung der Sicht des Fahrers beim Rangieren seines Fahrzeugs, z.B. beim Rückwärtsfahren oder beim Ein- bzw. Ausparken. Heretofore, devices for imaging the vehicle environment are predominantly used for functions at low vehicle speeds, in particular for aiding and improving the driver's view when maneuvering his vehicle, e.g. when reversing or when parking or parking.

Mit der Markteinführung kamerabasierter Spiegelersatzsysteme sowie mit zunehmendem Einsatz der Vorrichtungen zur bildlichen Darstellung der Fahrzeugumgebung auch bei höheren Fahrzeuggeschwindigkeiten, ergeben sich jedoch verschiedene Probleme, insbesondere bei den bislang eingesetzten Lösungen. With the market introduction of camera-based mirror replacement systems and with increasing use of the devices for imaging the vehicle environment even at higher vehicle speeds, however, there are various problems, especially in the solutions used so far.

Ein wesentliches Problem bei höheren Fahrzeuggeschwindigkeiten, insbesondere bei Kameras mit einem Bildsensor mit zeilen- bzw. spaltenweiser Bilderfassung bzw. Bildauslesung, ist der sogenannte Rolling-Shutter-Effekt. A major problem with higher vehicle speeds, especially in cameras with an image sensor with row-wise or column-wise image acquisition or image reading, is the so-called rolling-shutter effect.

Unter dem Rolling-Shutter-Effekt sind insbesondere Lagefehler von Bildpunkten in Abbildungen zu verstehen, die bei der Aufnahme einer Szene mit einer bewegten Kamera mit nacheinander ausgelesen Bildzeilen oder -spalten entstehen. Dies führt zur Verzerrungen im erfassten bzw. angezeigten Bild. Objekte können dabei insbesondere gestreckt, gestaucht und schief sowie verwaschen bzw. verwischt abgebildet werden. Under the rolling shutter effect, in particular positional errors of pixels in images are to be understood, which arise when shooting a scene with a moving camera with successively read out image lines or columns. This leads to distortions in the captured or displayed image. In particular, objects can be stretched, compressed and skewed as well as washed out or blurred.

Der Erfindung liegt die Aufgabe zugrunde, ein Lösung anzugeben, insbesondere für den Einsatz der bekannten Vorrichtungen zur bildlichen Darstellung der Fahrzeugumgebung bei höheren Fahrzeuggeschwindigkeiten, wobei der sogenannte Rolling-Shutter-Effekt vermieden und damit die Qualität und Genauigkeit der Darstellung der Fahrzeugumgebung verbessert wird, insbesondere bei höheren Fahrzeuggeschwindigkeiten. The invention has for its object to provide a solution, in particular for the use of the known devices for imaging the vehicle environment at higher vehicle speeds, whereby the so-called rolling-shutter effect avoided and thus the quality and accuracy of the representation of the vehicle environment is improved, in particular at higher vehicle speeds.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen nach Anspruch 1 sowie durch eine korrespondierende Vorrichtung mit den Merkmalen nach Anspruch 9 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind. This object is achieved by a method having the features of claim 1 and by a corresponding apparatus having the features of claim 9. Advantageous embodiments and further developments are the subject of dependent claims, wherein combinations and developments of individual features are conceivable with each other.

Das erfindungsgemäße Verfahren dient zur Korrektur der bildlichen Darstellung einer Fahrzeugumgebung. Das Verfahren kann beispielweise bei den aus dem Stand der Technik bekannten Verfahren und Vorrichtungen zum Einsatz kommen, bei denen mittels wenigstens einer an einem Fahrzeug angeordneten Kamera Bilder aus zumindest einem Bereich der Fahrzeugumgebung erfasst werden, und wobei die erfassten Bilder auf wenigstens einer im Sichtbereich des Fahrers des Fahrzeugs angeordneten Anzeigeeinrichtung wiedergegeben werden. Bei dem zumindest einen Bereich der Fahrzeugumgebung handelt es sich insbesondere um einen bestimmten Winkelbereich der Umgebung um das Fahrzeug, beispielsweise ein in Fahrtrichtung vorausliegende Winkel- bzw. Sichtbereich, oder auch ein seitlicher oder rückwärtiger Sichtbereich. Besonders vorteilhaft ist die Anwendung des erfindungsgemäßen Verfahrens, wenn die Bilderfassung mittels einer Kamera erfolgt, die mit einem Bildsensor mit zeilen- oder spaltenweiser Bilderfassung bzw. Bildauslesung ausgebildet ist. The inventive method is used to correct the visual representation of a vehicle environment. The method can be used, for example, in the methods and devices known from the prior art, in which images from at least one area of the vehicle surroundings are detected by means of at least one camera arranged on a vehicle, and wherein the captured images are recorded on at least one in the field of vision of the vehicle Driver of the vehicle arranged display device can be played. The at least one area of the vehicle surroundings is, in particular, a specific angular area of the surroundings around the vehicle, for example an angle or sight area ahead in the direction of travel, or else a lateral or rearward viewing area. Particularly advantageous is the application of the method according to the invention, when the image acquisition by means of a camera, which is formed with an image sensor with line or column-wise image capture or image reading.

Im Rahmen des erfindungsgemäßen Verfahrens erfolgt eine Korrektur der bildlichen Darstellung der Fahrzeugumgebung, insbesondere eine Korrektur von Lagefehlern von Bildpunkten in den erfassten Bildern der Fahrzeugumgebung. Die Korrektur der Lagefehler von Bildpunkten erfolgt dabei erfindungsgemäß zumindest in Abhängigkeit der Geschwindigkeit des Fahrzeugs, insbesondere in Abhängigkeit der Fahrzeuggeschwindigkeit zum Zeitpunkt der Bilderfassung. Hierbei kann, bevorzugt bei der Erzeugung der mittels der Anzeigeeinrichtung anzuzeigenden Bilder, in Abhängigkeit der Fahrzeuggeschwindigkeit, sowie optional in Abhängigkeit weiterer Eingangsgrößen, die Pixelverschiebung, die aufgrund des Rolling-Shutter-Effekts in den mittels der Kamera erfassten Bildern verursacht wird, berechnet werden. Die berechnete Pixelverschiebung kann dann zur Korrektur der Lage der entsprechenden Bildpunkte in den anzuzeigenden Bildern verwendet werden. As part of the method according to the invention, a correction of the pictorial representation of the vehicle environment, in particular a correction of positional errors of pixels in the detected Pictures of the vehicle environment. The correction of the positional errors of pixels takes place according to the invention at least as a function of the speed of the vehicle, in particular as a function of the vehicle speed at the time of image acquisition. In this case, preferably in the generation of the images to be displayed by means of the display device, as a function of the vehicle speed, and optionally as a function of further input variables, the pixel shift caused due to the rolling shutter effect in the images captured by the camera can be calculated. The calculated pixel shift can then be used to correct the location of the corresponding pixels in the images to be displayed.

Das erfindungsgemäße Verfahren hat den wesentlichen Vorteil, dass die Bildqualität, bei der bildlichen Darstellung der Fahrzeugumgebung bei höheren Fahrzeuggeschwindigkeiten, deutlich verbessert wird, insbesondere für die genannten Surround View Systeme sowie für die kamerabasierten Spiegelersatzsysteme. Eine Erhöhung der Bildrate, beispielsweise von 30 fps auf 60 fps, die bislang zur Kompensierung des Rolling-Shutter-Effekts erfolgen muss, ist nicht mehr erforderlich. Weiterhin sind keine kostspieligen Bildsensoren mehr erforderlich, insbesondere keine sogenannten Rolling-Shutter-Bildsensoren, die in der Lage sind, den Rolling Shutter Effekt zumindest teilweise zu kompensieren. The inventive method has the significant advantage that the image quality, in the visual representation of the vehicle environment at higher vehicle speeds, is significantly improved, especially for the aforementioned surround view systems and for the camera-based mirror replacement systems. An increase in the frame rate, for example, from 30 fps to 60 fps, which must be done so far to compensate for the rolling shutter effect, is no longer necessary. Furthermore, no expensive image sensors are required, in particular no so-called rolling-shutter image sensors, which are able to compensate for the rolling shutter effect at least partially.

Im Rahmen des erfindungsgemäßen Verfahrens können neben der Fahrzeuggeschwindigkeit zur Korrektur der Lagefehlern von Bildpunkten zusätzlich weitere Eingangsgrößen bei der Korrektur der Lagefehler berücksichtigt werden. Zu den zusätzlichen Eingangsgrößen können dabei extrinsische Parameter der Kamera zählen. Unter extrinsischen Kameraparametern sind insbesondere die Position und die Orientierung der Kamera zu verstehen, beispielsweise in einem welt- oder fahrzeugbezogenen Koordinatensystem, einschließlich der X-, Y-, Z-Position sowie des Nick-, Gier- und Wank- bzw. Rollwinkels der Kamera. Weiterhin können zu den Eingangsgrößen intrinsische Parameter der Kamera zählen. Zu den intrischen Kameraparametern zählen insbesondere die Brennweite, die Position des Bildmittelpunktes und die Pixelskalierung der Kamera. In the context of the method according to the invention, in addition to the vehicle speed for correcting the positional errors of pixels, additional input variables can also be taken into account in the correction of the positional errors. The additional input variables may include extrinsic parameters of the camera. Extrinsic camera parameters are in particular the position and the orientation of the camera to understand, for example in a world or vehicle-related coordinate system, including the X, Y, Z position and the pitch, yaw and roll or roll angle of the camera , Furthermore, the input variables may include intrinsic parameters of the camera. The intrinsic camera parameters include in particular the focal length, the position of the image center and the pixel scaling of the camera.

Im Rahmen des erfindungsgemäßen Verfahrens kann zur Korrektur der Lagefehler von Bildpunkten zusätzlich die Bewegungsrichtung des Fahrzeugs berücksichtigt werden, beispielsweise in Abhängigkeit des Lenkwinkels und/oder in Abhängigkeit einer ermittelten Quergeschwindigkeit des Fahrzeugs. Dabei kann insbesondere die Bewegungstrajektorie des Fahrzeugs ermittelt und die aufgrund der Bewegungstrajektorie verursachte Pixelverschiebung berechnet werden. In the context of the method according to the invention, the movement direction of the vehicle can additionally be taken into account for correcting the positional errors of pixels, for example as a function of the steering angle and / or as a function of a determined lateral speed of the vehicle. In particular, the movement trajectory of the vehicle can be determined and the pixel shift caused by the movement trajectory can be calculated.

Die Korrektur von Lagefehlern kann im Rahmen des erfindungsgemäßen Verfahrens weiterhin in Abhängigkeit eines bekannten Umgebungsmodells der Fahrzeugumgebung erfolgen, insbesondere dann, wenn es sich bei der bildlichen Darstellung der Fahrzeugumgebung nicht um die Anzeige eines real erfassten Kamerabildes handelt, bei dem die Darstellungsperspektive des angezeigten Bildes der Perspektive der Kamera entspricht, sondern um eine Darstellung der Fahrzeugumgebung aus einer virtuellen Perspektive. Bei der virtuellen Perspektive kann es sich beispielsweise um eine Vogelperspektive handeln, d.h. um die Darstellung der Fahrzeugumgebung aus der Perspektive eine virtuellen (real nicht existieren) Kamera oberhalb des Fahrzeugs. Dann kann im Rahmend es erfindungsgemäßen Verfahrens das Umgebungsmodell, das für die Transformation des real erfassten Kamerabildes in die jeweilige virtuelle Perspektive verwendet wird bzw. wurde, ebenfalls für die Korrektur der Lagefehlern der Bildpunkten verwendet werden. Das vorhandene Umgebungsmodell kann dabei insbesondere in Abhängigkeit der Fahrzeuggeschwindigkeit, sowie optional weiterer Eingangsgrößen, korrigiert bzw. angepasst werden. In the context of the method according to the invention, the correction of positional errors can furthermore be effected as a function of a known environment model of the vehicle environment, in particular if the pictorial representation of the vehicle surroundings is not the display of a camera image recorded in reality in which the representation perspective of the displayed image Perspective of the camera, but a representation of the vehicle environment from a virtual perspective. For example, the virtual perspective may be a bird's-eye view, i. to the representation of the vehicle environment from the perspective of a virtual (not really exist) camera above the vehicle. Then, in the context of the method according to the invention, the environment model which is or was used for the transformation of the camera image actually captured into the respective virtual perspective can also be used for the correction of the positional errors of the pixels. The existing environment model can be corrected or adjusted in particular depending on the vehicle speed, and optionally further input variables.

Gemäß einer besonderen Ausgestaltung des erfindungsgemäßen Verfahrens, insbesondere bei ermittelter Geradeausfahrt, d.h. bei im Wesentlichen lenkungsfreier Fahrt, kann die Korrektur der Lagefehler durch einfache spalten- oder zeilenweise lineare Verschiebung der Bildpunkte in Abhängigkeit der Geschwindigkeit des Fahrzeugs erfolgen. According to a particular embodiment of the method according to the invention, in particular when determined straight ahead, i. with essentially steering-free travel, the correction of the position errors can be effected by simple column-wise or line-by-line linear displacement of the pixels as a function of the speed of the vehicle.

Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens kann die Korrektur der Lagefehler durch Berechnung der Verschiebung der Lage von Bildpunkten in den erfassten Bildern (4), insbesondere im 2-dimensionalen Kamerabild, gegenüber deren tatsächlichen Lage in der beobachteten Objektszene, d.h. insbesondere der originalen Objektposition, aufgrund der Geschwindigkeit des Fahrzeugs erfolgen. According to a further embodiment of the method according to the invention, the correction of the position errors can be carried out by calculating the displacement of the position of picture elements in the acquired images ( 4 ), in particular in the 2-dimensional camera image, with respect to their actual position in the observed object scene, ie in particular the original object position, due to the speed of the vehicle.

Bei der bildlichen Darstellung der Fahrzeugumgebung handelt es sich insbesondere um eine Echtzeitdarstellung der Fahrzeugumgebung, d.h. insbesondere um ein sogenanntes Livebild. In particular, the pictorial representation of the vehicle environment is a real-time representation of the vehicle environment, i. in particular a so-called live image.

Die Geschwindigkeit und/oder die Bewegungsrichtung des Fahrzeugs können im Rahmen des erfindungsgemäßen Verfahrens insbesondere direkt mittels Bildverarbeitung der mittels der wenigstens einen Kamera erfassten Bilder Fahrzeugumgebung erfolgen, beispielsweise durch Ermittlung von Flussvektoren des optischen Flusses in den Bildern. In the context of the method according to the invention, the speed and / or the direction of movement of the vehicle can take place, in particular, directly by means of image processing of the vehicle surroundings captured by the at least one camera, for example by determining flow vectors of the optical flow in the images.

Die Erfindung betrifft ferner eine Vorrichtung die zur Umsetzung des erfindungsgemäßen Verfahrens ausgebildet ist, insbesondere eine Vorrichtung zur bildlichen Darstellung einer Fahrzeugumgebung, umfassend wenigstens eine Kamera, die zur Erfassung von Bildern aus zumindest einem Bereich der Fahrzeugumgebung ausgebildet ist, und wenigstens eine Anzeigeeinrichtung, die im Sichtbereich eines Fahrers des Fahrzeugs angeordnet und zur Anzeige der erfassten Bilder ausgebildet ist. Die Vorrichtung umfasst dabei vorzugsweise Mittel zur Korrektur von Lagefehlern von Bildpunkten in den Bildern gemäß einem Verfahren nach einem der vorangehend genannten Ausgestaltungen, insbesondere in Abhängigkeit der Geschwindigkeit des Fahrzeugs. The invention further relates to a device which is designed to implement the method according to the invention, in particular a device for imaging a vehicle environment, comprising at least one camera, which is designed to capture images from at least one region of the vehicle surroundings, and at least one display device, which is arranged in the field of vision of a driver of the vehicle and designed to display the captured images. The device preferably comprises means for correcting positional errors of pixels in the images according to a method according to one of the aforementioned embodiments, in particular as a function of the speed of the vehicle.

Weitere Vorteile sowie optionale Ausgestaltungen gehen aus der Beschreibung und den Zeichnungen hervor. Ausführungsbeispiele sind in den Zeichnungen vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert. Further advantages and optional embodiments will become apparent from the description and the drawings. Embodiments are shown in simplified form in the drawings and explained in more detail in the following description.

Nachfolgend wird unter Bezugnahme auf die 1 bis 4 die Funktionsweise des erfindungsgemäßen Verfahrens zur Korrektur der bildlichen Darstellung einer Fahrzeugumgebung beschrieben. The following is with reference to the 1 to 4 describes the operation of the method according to the invention for correcting the pictorial representation of a vehicle environment.

1 zeigt eine mittels einer an einem Fahrzeug angeordneten Kamera 1 zu erfassende Szene. In diesem Fall handelt es sich beispielhaft um einen rechteckigen Bereich der Fahrzeugumgebung 2 in der sich ein Objekt 3 befindet, das als Pfeil dargestellt ist. 1 shows a camera arranged by means of a vehicle 1 scene to be captured. In this case, it is an example of a rectangular area of the vehicle environment 2 in which is an object 3 located as an arrow.

In den 2 bis 4 sind die mittels der Kamera 1 erfassten Bilder 4 der in 1 dargestellten Szene dargestellt, wobei die Kamera 1 jeweils eine unterschiedliche Anordnung bzw. Ausrichtung zur Fahrtrichtung 5 des Fahrzeugs aufweist. In the 2 to 4 are the means of the camera 1 captured images 4 the in 1 shown scene, the camera 1 each a different arrangement or orientation to the direction of travel 5 of the vehicle.

Bei der Kamera 1 handelt es sich insbesondere um eine Kamera 1 mit einem Bildsensor, beispielsweise ein CMOS-Bildsensor, dessen lichtempfindliche Elemente, die auch als Pixel oder Bildpunkte bezeichnet werden können, nicht exakt zum gleichen Zeitpunkt ausgelesen werden. Vielmehr erfolgt eine zeilenweise Auslesung. Der Bildsensor kann dabei beispielsweise eine Auflösung von 1280×800 Bildpunkten aufweisen, d.h. der Bildsensor umfasst insgesamt 800 Bildpunktzeilen L1 bis Ln. Bei zeilenweiser Auslesung und einer Bildrate von 30 Bildern pro Sekunde (Frames/sec bzw. fps), würde dies eine Auslesezeit von 0,33 ms (msec) pro Bild und entsprechend für die 800 Bildpunktzeilen bedeuten. Diese Auslesezeit ist verhältnismäßig kurz. Wie einleitend erwähnt, führt das zeitversetze Auslesen der Bildpunktzeilen L1 bis Ln jedoch bei entsprechend hoher Geschwindigkeit des Fahrzeugs zum sogenannten Rolling-Shutter-Effekt, d.h. zu Lagefehlern von Bildpunkten in den erfassten Bildern 4. Ein Objekt 3 in der Fahrzeugumgebung 2 kann dabei in den erfassten Bildern 4 verzerrt erscheinen, insbesondere gestaucht, gestreckt und/oder krumm sowie unscharf bzw. verwaschen. At the camera 1 it is in particular a camera 1 with an image sensor, such as a CMOS image sensor whose photosensitive elements, which can also be referred to as pixels or pixels, are not read out at exactly the same time. Rather, a line by line reading takes place. The image sensor can have, for example, a resolution of 1280 × 800 pixels, ie the image sensor comprises a total of 800 pixel lines L1 to Ln. With line-by-line reading and a frame rate of 30 frames per second (frames / sec or fps), this would mean a read-out time of 0.33 ms (msec) per frame and correspondingly for the 800 pixel rows. This readout time is relatively short. As mentioned in the introduction, the time-shifted readout of the pixel lines L1 to Ln, however, leads to a so-called rolling shutter effect, ie to positional errors of pixels in the acquired images, given a correspondingly high speed of the vehicle 4 , An object 3 in the vehicle environment 2 can do this in the captured images 4 appear distorted, in particular upset, stretched and / or crooked and blurred or washed out.

2 zeigt das erfasste Bild 4, der in 1 dargestellten Szene, mittels einer in Fahrtrichtung 5 des Fahrzeugs ausgerichteten Kamera 1. Aufgrund des bereits beschriebenen Rolling-Shutter-Effekts bei zeilenweiser Bilderfassung, kommt es aufgrund der Eigenbewegung der Kamera 1 zu Lagefehlern von Bildpunkten. Das Objekt 3 erscheint im erfassten Bild 4 gestreckt. 2 shows the captured image 4 who in 1 represented scene, by means of a in the direction of travel 5 vehicle-oriented camera 1 , Due to the already described rolling shutter effect with line by line image capture, it comes due to the camera's own motion 1 to positional errors of pixels. The object 3 appears in the captured image 4 stretched.

3 zeigt das erfasste Bild 4, der in 1 dargestellten Szene, mittels zur Seite, d.h. quer zur Fahrtrichtung 5 des Fahrzeugs, ausgerichteten Kamera 1. Aufgrund des Rolling-Shutter-Effekts kommt es, wie bereits bei der Situation in 2, aufgrund der Eigenbewegung der Kamera 1 zu Lagefehlern von Bildpunkten. Das Objekt 3 erscheint in diesem Fall im erfassten Bild 4 schief. 3 shows the captured image 4 who in 1 represented scene, means to the side, ie transverse to the direction of travel 5 of the vehicle, focused camera 1 , Due to the rolling shutter effect, as in the situation in 2 , due to the camera's own motion 1 to positional errors of pixels. The object 3 appears in the captured image in this case 4 crooked.

4 zeigt das erfasste Bild 4, der in 1 dargestellten Szene, mittels einer entgegen der Fahrtrichtung 5 des Fahrzeugs ausgerichteten Kamera 1. Aufgrund des Rolling-Shutter-Effekts kommt es, wie bereits bei 2 und 3, aufgrund der Eigenbewegung des Fahrzeugs zu Lagefehlern von Bildpunkten. Das Objekt 3 erscheint in diesem Fall im erfassten Bild 4 gestaucht. 4 shows the captured image 4 who in 1 represented scene, by means of a counter to the direction of travel 5 vehicle-oriented camera 1 , Due to the rolling shutter effect, it comes, as already at 2 and 3 , due to the self-motion of the vehicle to positional errors of pixels. The object 3 appears in the captured image in this case 4 compressed.

Bei dem erfindungsgemäßen Verfahren erfolgt zur Korrektur der Lagefehlern von Bildpunkten, wie diese beispielhaft in 2 bis 4 dargestellt sind, eine Korrektur dieser Lagefehler in Abhängigkeit der Geschwindigkeit des Fahrzeugs, insbesondere im erfassten bzw. erzeugten Bild. In the method according to the invention, to correct the positional errors of pixels, as exemplified in FIG 2 to 4 are shown, a correction of this position error as a function of the speed of the vehicle, in particular in the captured or generated image.

Werden beispielsweise, entsprechend 2 bis 4, mittels einer einzelnen Kamera 1 Bilder 1 eines Bereichs der Fahrzeugumgebung erfasst und wird mittels einer Anzeigeeinheit das erfasste Bild angezeigt, insbesondere das real erfasste Kamerabild, kann gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens, die Korrektur der Lagefehler der Bildpunkten durch einfache durch zeilen- oder spaltenweise lineare Verschiebung erfolgen, insbesondere mittels 1-dimensionaler Verschiebung bzw. Filterung für Subpixelgenauigkeit. Dabei müssen insbesondere nur die Pixel einer Zeile bzw. Spalte mit den Pixeln der jeweils darauffolgenden Zeile bzw. Spalte verrechnet bzw. verschoben werden. Dies führt zu einer besonders rechen- und speichereffizienten Lösung. For example, according to 2 to 4 , by means of a single camera 1 Detected images 1 of a range of the vehicle environment and is displayed by a display unit, the captured image, in particular the real captured camera image, according to an embodiment of the inventive method, the correction of positional errors of the pixels by simple line or column linear displacement done, in particular by means 1-dimensional displacement or filtering for subpixel accuracy. In particular, only the pixels of a row or column have to be offset or shifted with the pixels of the respective subsequent row or column. This leads to a particularly compute and memory efficient solution.

Bei dem in 2 skizzierten Fall würde dies bedeuten, dass die Bildpunktzeilen L1 bis Ln bei der Erzeugung des anzuzeigenden Bildes in vertikaler Richtung, d.h. in Spaltenrichtung, zusammengeschoben würden. Dabei könnte bei der Erzeugung des anzuzeigenden Bildes in Abhängigkeit der Fahrzeuggeschwindigkeit regelmäßig eine oder mehrere Bildpunktzeilen ausgelassen oder zusammengefasst werden. At the in 2 this would mean that the pixel lines L1 to Ln in the generation of the image to be displayed in the vertical direction, ie in the column direction, would be pushed together. It could in the generation of the image to be displayed depending on the Vehicle speed regularly one or more pixel lines omitted or summarized.

Bei dem in 3 skizzierten Fall würde eine Korrektur durch zeilenweise lineare Verschiebung der Bildpunkte hingegen bedeuten, dass die Bildpunktzeilen L1 bis Ln bei der Erzeugung des anzuzeigenden Bildes in horizontaler Richtung, d.h. in Zeilenrichtung, verschoben werden würden. Dabei könnte bei der Erzeugung des anzuzeigenden Bildes in Abhängigkeit der Fahrzeuggeschwindigkeit mit zunehmender Zeilenfolge L1 bis Ln eine zunehmend große Verschiebung der Bildpunktzeilen durchgeführt werden, in diesem Fall vorzugsweise nach rechts, d.h. in Fahrtrichtung des Fahrzeugs. At the in 3 On the other hand, a correction by line-by-line linear displacement of the pixels would mean that the pixel lines L1 to Ln would be displaced in the horizontal direction, ie in the line direction, during the generation of the image to be displayed. In this case, in the generation of the image to be displayed in dependence on the vehicle speed with increasing line sequence L1 to Ln an increasingly large shift of the pixel rows could be performed, in this case preferably to the right, ie in the direction of travel of the vehicle.

Bei dem in 4 skizzierten Fall würde eine Korrektur durch zeilenweise und lineare Verschiebung der Bildpunkte bedeuten, dass die Bildpunktzeilen L1 bis Ln bei der Erzeugung des anzuzeigenden Bildes gestreckt bzw. auseinandergezogen würden. Dabei könnte, insbesondere wenn die Bildauflösung der Kamera kleiner oder gleich der Bildauflösung der Anzeigeeinrichtung ist, bei der Erzeugung des anzuzeigenden Bildes in Abhängigkeit der Fahrzeuggeschwindigkeit eine oder mehrere Bildpunktzeilen dupliziert oder es kann beispielsweise aus benachbarten Bildpunktzeilen eine neue zwischengeordnete Bildpunktzeile erzeugt werden. At the in 4 In the case sketched, a correction by line-by-line and linear displacement of the pixels would mean that the pixel lines L1 to Ln would be stretched or pulled apart in the generation of the image to be displayed. In this case, in particular if the image resolution of the camera is smaller than or equal to the image resolution of the display device, one or more pixel rows may be duplicated in the generation of the image to be displayed as a function of the vehicle speed, or a new intermediate pixel row may be generated, for example, from adjacent pixel rows.

Neben der Geschwindigkeit des Fahrzeugs können erfindungsgemäß noch weitere Eingangsgrößen bei der Korrektur der Lagefehler berücksichtigt werden, beispielswiese die intrinsischen und extrinsischen Kameraparameter sowie die Bewegungsrichtung des Fahrzeugs. In addition to the speed of the vehicle, according to the invention further input variables can be taken into account in the correction of the positional errors, for example the intrinsic and extrinsic camera parameters as well as the direction of movement of the vehicle.

Insbesondere dann, wenn es sich bei der bildlichen Darstellung der Fahrzeugumgebung um ein Bild aus einer virtuellen Kameraperspektive handelt, beispielsweise um eine Draufsicht, d.h. um eine bildliche Darstellung der Fahrzeugumgebung aus einer Vogelperspektive, dann die Korrektur der Lagefehler neben der Geschwindigkeit des Fahrzeugs, sowie optional weiterer Eingangsgrößen, zudem ins Abhängigkeit eines Umgebungsmodells der Fahrzeugumgebung erfolgen, insbesondere in Abhängigkeit des Umgebungsmodells für die Erzeugung der virtuellen Kameraperspektive. In particular, when the pictorial representation of the vehicle environment is an image from a virtual camera perspective, for example, a plan view, i. a visual representation of the vehicle environment from a bird's eye view, then the correction of the positional error in addition to the speed of the vehicle, and optionally further input variables, also depending on an environment model of the vehicle environment done, in particular depending on the environment model for the generation of the virtual camera perspective.

Bekannte Umgebungsmodelle sind beispielsweise sogenannte Lookup-Tabellen, die bei der Bildverarbeitung für die Transformation eines mittels einer Kamera erfassten realen Bildes, d.h. eines Bild aus einer realen Kameraperspektive, in die Darstellung der erfassten Szene aus der virtuellen Perspektive verwendet werden können. Lookup-Tabellen beschreiben dabei insbesondere welcher Bildpunkt (Pixel) des realen Bildes (von der Kamera erfassten Bild) welche Bildpunktposition im virtuellen Bild (angezeigtes Bild) erhalten soll. Dabei kann beispielsweise grundsätzlich eine ebene (planare), eine gewölbte oder auch eine halbkugelförmige Welt bzw. Bezugsebene (ground plane) angenommen werden, auf welche die Bildpunkte des realen Bildes projiziert bzw. transformiert werden. Alternativ dazu können auch sehr komplexe dreidimensionale Modelle erzeugt und die Bildpunkte auf diese Modelle projiziert werden. In jedem Fall können im Rahmen des erfindungsgemäßen Verfahrens die Umgebungsmodelle in Abhängigkeit der Fahrzeuggeschwindigkeit, sowie optional weiterer Eingangsgrößen, korrigiert bzw. angepasst werden, um die erfindungsgemäße Korrektur der Lagefehler von Bildpunkten zu erreichen. Dabei kann beispielsweise die reale Bewegung der Bildpunkte in der Bezugsebene (ground plane) ermittelt und daraus ein Korrekturfaktor für die Erzeugung des anzuzeigenden Bildes berechnet werden. Known environment models are, for example, so-called look-up tables used in image processing for the transformation of a camera-captured real image, i. an image from a real camera perspective, can be used in the representation of the captured scene from the virtual perspective. In particular, lookup tables describe which pixel (pixel) of the real image (image captured by the camera) which pixel position should be obtained in the virtual image (displayed image). In this case, for example, basically a plane (planar), a curved or even a hemispherical world or reference plane (ground plane) can be assumed, onto which the pixels of the real image are projected or transformed. Alternatively, very complex three-dimensional models can be generated and the pixels projected onto these models. In any case, in the context of the method according to the invention, the environmental models can be corrected or adapted as a function of the vehicle speed, and optionally further input variables, in order to achieve the inventive correction of the positional errors of picture elements. In this case, for example, the real movement of the pixels in the reference plane (ground plane) can be determined and from this a correction factor for the generation of the image to be displayed can be calculated.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1

Kamera camera

2 2

Fahrzeugumgebung vehicle environment

3 3

Objekt object

4 4

Bilder images

5 5

Fahrtrichtung direction of travel

L1 L1

erste Bildpunktzeile first pixel line

Ln ln

n-te Bildpunktzeile nth pixel line

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

• DE 197341896 C2 [0002] DE 197341896 C2 [0002]
• DE 102007044536 A1 [0004] DE 102007044536 A1 [0004]

Claims (9)

Verfahren zur Korrektur der bildlichen Darstellung einer Fahrzeugumgebung (2), wobei mittels wenigstens einer an einem Fahrzeug angeordneten Kamera (1) Bilder (4) aus zumindest einem Bereich der Fahrzeugumgebung (2) erfasst werden, und wobei die erfassten Bilder (4) mittels einer im Sichtbereich eines Fahrers angeordneten Anzeigeeinrichtung angezeigt werden, dadurch gekennzeichnet, dass eine Korrektur von Lagefehlern von Bildpunkten in Abhängigkeit einer Geschwindigkeit des Fahrzeugs erfolgt. Method for correcting the pictorial representation of a vehicle environment ( 2 ), wherein by means of at least one camera arranged on a vehicle ( 1 ) Images ( 4 ) from at least one area of the vehicle environment ( 2 ), and wherein the captured images ( 4 ) are displayed by means of a display device arranged in the field of vision of a driver, characterized in that a correction of positional errors of pixels takes place as a function of a speed of the vehicle. Verfahren nach Anspruch 1, dadurch gekennzeichnet, die Korrektur der Lagefehler zudem in Abhängigkeit bekannter intrinsischer und/oder extrinsischer Parameter der wenigstens einen Kamera (1) erfolgt. Method according to Claim 1, characterized in that the correction of the positional errors is also dependent on known intrinsic and / or extrinsic parameters of the at least one camera ( 1 ) he follows. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Korrektur der Lagefehler zudem in Abhängigkeit einer Bewegungsrichtung (5) des Fahrzeugs erfolgt. Method according to one of the preceding claims, characterized in that the correction of the positional error also depends on a direction of movement ( 5 ) of the vehicle takes place. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Korrektur der Lagefehler zudem in Abhängigkeit eines Umgebungsmodells der Fahrzeugumgebung (2) erfolgt. Method according to one of the preceding claims, characterized in that the correction of the positional error also depends on an environment model of the vehicle environment ( 2 ) he follows. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Korrektur der Lagefehler durch zeilen- oder spaltenweise lineare Verschiebung der Bildpunkte erfolgt. Method according to one of the preceding claims, characterized in that the correction of the position errors by line or column-wise linear displacement of the pixels takes place. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Korrektur der Lagefehler durch Berechnung einer Verschiebung der Lage von Bildpunkten in den erfassten Bildern (4) gegenüber deren tatsächlichen Lage in der beobachteten Objektszene erfolgt. Method according to one of the preceding claims, characterized in that the correction of the position errors by calculating a shift of the position of pixels in the captured images ( 4 ) relative to their actual position in the observed object scene. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass es sich bei der bildlichen Darstellung um eine Echtzeitdarstellung der Fahrzeugumgebung (2) handelt. Method according to one of the preceding claims, characterized in that the pictorial representation is a real-time representation of the vehicle environment ( 2 ). Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass die Geschwindigkeit und/oder die Bewegungsrichtung (5) des Fahrzeugs mittels Bildverarbeitung der erfassten Bilder (4) der Fahrzeugumgebung (2) ermittelt wird. Method according to one of the preceding claims, characterized in that the speed and / or the direction of movement ( 5 ) of the vehicle by means of image processing of the captured images ( 4 ) of the vehicle environment ( 2 ) is determined. Vorrichtung zur bildlichen Darstellung einer Fahrzeugumgebung (2), umfassend wenigstens eine Kamera (1), ausgebildet zur Erfassung von Bildern (4) aus zumindest einem Bereich der Fahrzeugumgebung (2), und wenigstens eine Anzeigeeinrichtung, die im Sichtbereich eines Fahrers des Fahrzeugs angeordnet und zur Anzeige der erfassten Bilder (4) ausgebildet ist, dadurch gekennzeichnet, dass die Vorrichtung Mittel umfasst zur Korrektur von Lagefehlern von Bildpunkten in den Bildern (4) gemäß einem Verfahren nach einem der vorangegangenen Ansprüche. Device for visualizing a vehicle environment ( 2 ) comprising at least one camera ( 1 ), designed to capture images ( 4 ) from at least one area of the vehicle environment ( 2 ), and at least one display device arranged in the field of vision of a driver of the vehicle and for displaying the captured images ( 4 ), characterized in that the device comprises means for correcting positional errors of pixels in the images ( 4 ) according to a method according to any one of the preceding claims.

Images