DE102013203404A1

DE102013203404A1 - Method and device for three-dimensional imaging of at least one subarea of a vehicle environment

Info

Publication number: DE102013203404A1
Application number: DE102013203404.0A
Authority: DE
Inventors: Michael Helmle; Jose Domingo Esparza Garcia
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2013-02-28
Filing date: 2013-02-28
Publication date: 2014-08-28
Also published as: FR3002673A1; GB2513703B; GB201403384D0; FR3002673B1; GB2513703A

Abstract

Ein Verfahren zur dreidimensionalen Abbildung zumindest eines Teilbereichs (7, 8, 9, 10) eines Fahrzeugumfelds (6) mithilfe eines Kamerasystems (12), umfassend zwei voneinander beabstandete Kameras (2, 3, 4), die an einem Fahrzeug (1) angeordnet sind und deren jeweilige Kameraperspektive durch die Lage einer optischen Achse (5) definiert ist, umfasst die folgenden Schritte: – Aufnehmen des Teilbereichs (7, 8, 9, 10) mit den zwei voneinander beabstandeten Kameras und – Speichern von Bildern, die durch das Aufnehmen des Teilbereichs gewonnen wurden. Das Verfahren umfasst weiter die folgenden Schritte: – Definieren einer virtuellen Kameraperspektive für jede Kamera (2, 3, 4) durch eine virtuelle optische Achse (16), die sich in ihrer Lage von der optischen Achse (5) unterscheidet, – Berechnen eines virtuellen Bildes des Teilbereichs (7, 8, 9, 10) für jede virtuelle Kameraperspektive aus den gespeicherten Bildern, – Durchführen einer Korrespondenzanalyse zum Herstellen eines, insbesondere räumlichen, Bezugs zwischen den erzeugten virtuellen Bildern, – Berechnen einer dreidimensionalen Abbildung des Teilbereichs (7, 8, 9, 10) basierend auf der Korrespondenzanalyse und den erzeugten virtuellen Bildern.A method for three-dimensional imaging of at least one subarea (7, 8, 9, 10) of a vehicle environment (6) by means of a camera system (12) comprising two spaced-apart cameras (2, 3, 4) arranged on a vehicle (1) and whose respective camera perspective is defined by the position of an optical axis (5), comprises the following steps: recording the subarea (7, 8, 9, 10) with the two cameras spaced apart from each other and storing images formed by the camera Recording the sub-area were won. The method further comprises the following steps: Defining a virtual camera angle for each camera (2, 3, 4) by a virtual optical axis (16) that differs in position from the optical axis (5), - calculating a virtual Image of the subregion (7, 8, 9, 10) for each virtual camera perspective from the stored images, - performing a correspondence analysis for establishing a, in particular spatial, reference between the generated virtual images, - calculating a three-dimensional image of the subregion (7, 8 , 9, 10) based on the correspondence analysis and the generated virtual images.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds mithilfe eines Kamerasystems, umfassend mindestens zwei voneinander beabstandete Kameras, die an einem Fahrzeug angeordnet sind und deren jeweilige Kameraperspektive durch die Lage einer optischen Achse definiert ist, umfassend die folgenden Schritte:

– Aufnehmen des Teilbereichs mit den zwei voneinander beabstandeten Kameras und
– Speichern von Bildern, die durch das Aufnehmen des Teilbereichs gewonnen wurden.

The present invention relates to a method and an apparatus for three-dimensional imaging of at least one subarea of a vehicle environment using a camera system comprising at least two spaced-apart cameras, which are arranged on a vehicle and whose respective camera perspective is defined by the position of an optical axis, comprising the following Steps:

- Recording the portion with the two spaced cameras and
- Save images obtained by capturing the subarea.

Stand der TechnikState of the art

Aus der DE 10 2009 005 505 A1 ist ein Verfahren zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs bekannt. Eine an einem Kraftfahrzeug montierte Kamera nimmt Bilder der Umgebung auf. Diese Kamerabilder werden derart umgerechnet, als wären sie aus einer oberhalb des Kraftfahrzeugs angeordnete virtuelle Kameraposition aufgenommen worden. Durch Hinzunahme von weiteren Informationen mithilfe eines structure-from-motion-Verfahrens werden die virtuellen Kamerabilder korrigiert. Hierzu wird das Fahrzeug verfahren und während der Fahrzeugbewegung werden mehrere Bilder mithilfe der Kamera aufgenommen. Dadurch entstehen zeitlich und räumlich beabstandete Bilder mittels derer räumliche Strukturen der Umgebung berechnet werden können. Bei der Darstellung der Fahrzeugumgebung aus der virtuellen Kameraposition handelt es sich um eine zweidimensionale Draufsicht, bei der die Bildinformationen auf die Straßenebene projiziert sind. From the DE 10 2009 005 505 A1 For example, a method for generating an image of the surroundings of a motor vehicle is known. A camera mounted on a motor vehicle takes pictures of the environment. These camera images are converted as if they had been taken from a virtual camera position arranged above the motor vehicle. Adding more information using a structure-from-motion process corrects the virtual camera images. For this purpose, the vehicle is moved and during the vehicle movement several pictures are taken with the help of the camera. This results in temporally and spatially spaced images by means of which spatial structures of the environment can be calculated. The representation of the vehicle environment from the virtual camera position is a two-dimensional plan view in which the image information is projected onto the street level.

Die DE 103 26 943 A1 offenbart unter anderem ein Verfahren zur Bestimmung der Bewegung eines autonomen Fahrzeugs und/oder zur Erkennung von Objekten vor dem autonomen Fahrzeug. Während der Bewegung des Fahrzeugs nimmt eine am Fahrzeug montierte Kamera aufeinanderfolgende Bilder auf. Mittels einer Epipolar-Recheneinheit werden die epipolaren Geometrieinformationen basierend auf Orientierungsinformationen des autonomen Fahrzeugs berechnet. Eine Bewegungsanalyseeinheit analysiert basierend auf den Ergebnissen der Epipolar-Recheneinheit die Bewegung des autonomen Fahrzeugs. Eine 3D-Informationsanalyseeinheit berechnet auf Basis der von der Epipolar-Recheneinheit berechneten epipolaren Geometrieinformationen 3D-Informationen eines vor dem Fahrzeug erscheinenden Objekts. Diese 3D-Informationen können beispielsweise der Abstand zwischen dem autonomen Fahrzeug und dem Objekt oder Informationen über die 3D-Gestalt des Objektes sein. Die 3D-Erkennung des Fahrzeugumfelds kann nur bei einem sich bewegenden Fahrzeug erfolgen. The DE 103 26 943 A1 discloses, inter alia, a method for determining the movement of an autonomous vehicle and / or for detecting objects in front of the autonomous vehicle. During the movement of the vehicle, a vehicle-mounted camera takes consecutive pictures. By means of an epipolar computing unit, the epipolar geometry information is calculated based on orientation information of the autonomous vehicle. A motion analysis unit analyzes the motion of the autonomous vehicle based on the results of the epipolar computing unit. A 3D information analysis unit calculates 3D information of an object appearing in front of the vehicle on the basis of the epipolar geometry information calculated by the epipolar computing unit. This 3D information can be, for example, the distance between the autonomous vehicle and the object or information about the 3D shape of the object. The 3D detection of the vehicle environment can only be done with a moving vehicle.

Offenbarung der ErfindungDisclosure of the invention

Das erfindungsgemäße Verfahren ist durch die folgenden Schritte gekennzeichnet:

– Definieren einer virtuellen Kameraperspektive für jede Kamera durch eine virtuelle optische Achse, die sich in ihrer Lage von der optischen Achse dieser Kamera unterscheidet,
– Berechnen eine virtuellen Bildes des Teilbereichs für jede virtuelle Kameraperspektive aus den gespeicherten Bildern,
– Durchführen einer Korrespondenzanalyse zum Herstellen eines, insbesondere räumlichen, Bezuges zwischen den erzeugten virtuellen Bildern, und
– Berechnen einer dreidimensionalen Abbildung des Teilbereichs basierend auf der Korrespondenzanalyse und den erzeugten virtuellen Bildern.

The process according to the invention is characterized by the following steps:

Defining a virtual camera angle for each camera through a virtual optical axis that differs in position from the optical axis of that camera,
Calculate a virtual image of the subarea for each virtual camera perspective from the stored images,
Performing a correspondence analysis to establish a, in particular spatial, reference between the generated virtual images, and
Calculating a three-dimensional image of the subarea based on the correspondence analysis and the generated virtual images.

Mittels des erfindungsgemäßen Verfahrens ist es möglich, auch bei stehendem Fahrzeugs zumindest einen Teilbereich eines Fahrzeugumfelds dreidimensional abzubilden. By means of the method according to the invention, it is possible to image three-dimensionally at least one subarea of a vehicle environment, even when the vehicle is stationary.

Das erfindungsgemäße Verfahren kann bevorzugt mithilfe von Kameras am Fahrzeug durchgeführt werden, die serienmäßig am Fahrzeug verbaut werden. Ein Nachrüsten von Kameras ist somit nicht erforderlich. Bevorzugt werden die Kameras im Außenbereich eines Fahrzeugs verwendet, die serienmäßig zur Generierung eines Rundumblicks um das Fahrzeug verwendet werden. Heutige Fahrzeuge sind üblicherweise mit 3 bis 5 Kameras im Außenbereich ausgestattet. The method according to the invention can preferably be carried out by means of cameras on the vehicle, which are installed as standard on the vehicle. A retrofitting of cameras is not required. Preferably, the cameras are used in the exterior of a vehicle, which are used as standard for generating a panoramic view around the vehicle. Today's vehicles are usually equipped with 3 to 5 outdoor cameras.

Sollen mit dem erfindungsgemäßen Verfahren mehrere Teilbereiche dreidimensional abgebildet werden, können auch mehr als zwei, insbesondere mehr als fünf Kameras verwendet werden. Es ist beispielsweise auch denkbar weitere Kameras zusätzlich zu bereits, insbesondere serienmäßig, am Fahrzeug angeordneten Kameras zu verwenden.If a plurality of partial regions are to be imaged three-dimensionally with the method according to the invention, more than two, in particular more than five, cameras can also be used. It is also conceivable, for example, to use further cameras in addition to already, in particular standard, cameras arranged on the vehicle.

Das Verfahren kann mit identischen Kameras wie beispielsweise mehreren im Außenbereich eines Fahrzeugs serienmäßig verbauten Kameras durchgeführt werden. Es ist aber ebenso möglich unterschiedliche Kameras wie beispielsweise eine Innenraumkamera kombiniert mit Kameras im Außenbereich eines Fahrzeugs für das Verfahren einzusetzen. The method can be carried out with identical cameras, such as several cameras installed as standard in the exterior of a vehicle. But it is also possible to use different cameras such as an interior camera combined with cameras in the outer area of a vehicle for the process.

Weiter ist es denkbar, das erfindungsgemäße Verfahren mit dem aus der DE 103 26 943 A1 bekanntem Verfahren oder ähnlichen Verfahren zu kombinieren. Beispielsweise kann eine Kamera zusätzlich während einer Fahrzeugbewegung aufeinanderfolgende Aufnahmen machen, aus denen eine dreidimensionale Abbildung des Fahrzeugumfelds berechnet wird. Hierzu könnten weitere Kameras am Fahrzeug befestigt werden.It is also conceivable, the inventive method with the from DE 103 26 943 A1 known method or similar method. For example, a camera may additionally take consecutive shots during a vehicle movement, from which a three-dimensional image of the vehicle environment is calculated. For this purpose, additional cameras could be attached to the vehicle.

Das erfindungsgemäße Verfahren bietet dem Fahrer des Fahrzeugs die Möglichkeit, sich durch die dreidimensional abgebildete Umwelt virtuell frei zu bewegen und unterschiedliche Blickrichtungen virtuell einzunehmen. Somit kann der Fahrer beispielsweise Hindernisse in der Fahrzeugumgebung besser erkennen.The method according to the invention offers the driver of the vehicle the opportunity to move virtually freely through the three-dimensionally depicted environment and to occupy different viewing directions virtually. Thus, the driver can better recognize, for example, obstacles in the vehicle environment.

Mithilfe des erfindungsgemäßen Verfahrens wird der Fahrer eines Fahrzeugs beim Bewegen des Fahrzeugs unterstützt. Darüber hinaus können mithilfe des erfindungsgemäßen Verfahrens Kollisionen des Fahrzeugs mit Objekten frühzeitig vermieden werden.By means of the method according to the invention, the driver of a vehicle is assisted in moving the vehicle. In addition, collisions of the vehicle with objects can be avoided at an early stage by means of the method according to the invention.

Das erfindungsgemäße Verfahren benötigt keinerlei Informationen von eventuell am Fahrzeug vorhandenen Odometriesensoren. Sind Odometriesensoren am Fahrzeug serienmäßig vorgesehen, kann die Funktion dieser mithilfe der durch das Verfahren gewonnen 3D-Umgebung überprüft werden. Hierzu werden in der der 3D-Umgebung erkannte Objekte bei sich bewegendem Fahrzeug verfolgt und die dadurch gewonnen Informationen, beispielsweise sich verändernde Entfernungen zu einem Objekt, mit grundlegenden Odometriemessungen verglichen.The method according to the invention does not require any information from odometry sensors possibly present on the vehicle. If odometry sensors are provided as standard on the vehicle, their function can be verified using the 3D environment obtained by the procedure. For this purpose, the objects detected in the 3D environment are tracked while the vehicle is moving, and the information obtained thereby, for example changing distances to an object, is compared with basic odometry measurements.

Es ist auch denkbar, basierend auf der berechneten dreidimensionalen Fahrzeugumgebung, ein Objekt, das sich durch mehrere Teilbereiche der Fahrzeugumgebung bewegt, virtuell zu verfolgen.It is also conceivable, based on the calculated three-dimensional vehicle environment, to virtually track an object that moves through a plurality of subregions of the vehicle environment.

Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung. The dependent claims show preferred developments of the invention.

Bei einer besonders vorteilhaften Ausführungsform der Erfindung werden die virtuellen optischen Achsen der Kameras in den virtuellen Kameraperspektiven parallel zueinander angeordnet. Die serienmäßig an einem Fahrzeug im Außenbereich angeordneten Kameras sind derart positioniert, dass sie einen 360° Rundumblick um das Fahrzeug ermöglichen. Um diesen Rundumblick zu gewährleisten, sind die Kameras unterschiedlich zueinander orientiert. Beispielsweise weist eine Kamera im Frontbereich eines Fahrzeugs eine optische Achse auf, die in Fahrtrichtung zeigt, während eine Kamera im Seitenbereich des Fahrzeugs entlang einer optische Achse quer zur Fahrtrichtung ausgerichtet ist. Durch die unterschiedlichen Orientierungen der Kameras unterscheiden sich unter anderem die von einem identischen Teilbereich gemachten Bilder zweier Kameras erheblich voneinander. Durch die parallele Anordnung der virtuellen Achsen können diese Unterschiede reduziert werden, so dass eine Berechnung eines dreidimensionalen Fahrzeugumfelds deutlich vereinfacht wird. In a particularly advantageous embodiment of the invention, the virtual optical axes of the cameras in the virtual camera perspectives are arranged parallel to each other. The cameras, which are fitted as standard on a vehicle outside, are positioned in such a way that they allow a 360 ° all-round view of the vehicle. To ensure this all-round view, the cameras are oriented differently to each other. For example, a camera in the front area of a vehicle has an optical axis pointing in the direction of travel, while a camera in the lateral area of the vehicle is aligned along an optical axis transversely to the direction of travel. Due to the different orientations of the cameras, among other things, the images of two cameras made by an identical subarea differ considerably from one another. Due to the parallel arrangement of the virtual axes, these differences can be reduced, so that a calculation of a three-dimensional vehicle environment is significantly simplified.

Bevorzugt wird jede Kamera von der Kameraperspektive in die virtuelle Kameraperspektive mithilfe einer virtuellen Rotation um das optische Zentrum der jeweiligen Kamera überführt. Eine virtuelle Rotation ist unter Beibehaltung bestimmter Fixgrößen wie der spezifischen Kalibrierung und der Position des optischen Zentrums der jeweiligen Kamera möglich. Somit stimmen die spezifische Kalibrierung und die Position des optischen Zentrums sowohl für die reale Kameraperspektive wie auch die virtuelle Kameraperspektive überein. Bei der virtuellen Rotation wird nicht nur die optische Achse sondern die gesamte Kamera, dass heißt auch die Bildebene, virtuell in die virtuelle Kameraperspektive gedreht. Preferably, each camera is transferred from the camera perspective into the virtual camera perspective by means of a virtual rotation around the optical center of the respective camera. A virtual rotation is possible while maintaining certain fixed quantities such as the specific calibration and the position of the optical center of the respective camera. Thus, the specific calibration and position of the optical center are consistent for both the real camera and virtual camera perspectives. In virtual rotation, not only the optical axis but the entire camera, that is also the image plane, is virtually rotated into the virtual camera perspective.

Indem Verzerrungen in den real aufgenommenen Bildern des Teilbereichs mithilfe von Näherungsverfahren, insbesondere durch ein virtuelles Kameramodell, korrigiert werden, wird die weitere Bearbeitung der Bilddaten und die Erstellung einer 3D-Abbildung vereinfacht. Es ist Stand der Technik für die Kameras im Außenbereich eines Fahrzeugs Weitwinkellinsen, auch bekannt als Fischaugenobjektive, zu verwenden. Durch Verwendung solcher Linsen weisen die aufgenommenen Bilder starke Verzerrungen auf. Beispielsweise erscheinen gerade Linien als Kurven. Unter Verwendung von bekannten Näherungsverfahren, beispielsweise durch Erzeugung von Kameramodellen, können die Verzerrungen einfach korrigiert werden. Die Parameter, die ein Kameramodell definieren, können über die Kalibrierung der realen Kamera, deren Verzerrungen korrigiert werden sollen, geschätzt werden. By correcting distortions in the real images of the subarea by means of approximation methods, in particular by a virtual camera model, the further processing of the image data and the creation of a 3D image are simplified. It is state of the art for the outdoor camera of a vehicle to use wide angle lenses, also known as fisheye lenses. By using such lenses, the captured images have strong distortions. For example, straight lines appear as curves. Using known approximation techniques, such as by creating camera models, the distortions can be easily corrected. The parameters defining a camera model can be estimated by calibrating the real camera whose distortions are to be corrected.

Auch können die berechneten virtuellen Bilder epipolar entzerrt werden. Beispielsweise werden bei der epipolaren Entzerrung die beiden Bildebenen, auf die ein Objektpunkt abgebildet wurde, transformiert. Die Transformation erfolgt derart, dass die Epipolarlinien beider Bildebenen kollinear zueinander ausgerichtet werden. Dies bedeutet, dass die aus zwei unterschiedlichen Kameraperspektiven aufgenommenen Bilder auf eine gemeinsame Ebene abgebildet, durch Skalieren die Bildgrößen einander angepasst und durch Rotation bzw. vorhandenen Versatzes der Bilder zueinander die Pixelreihen der Bilder in Übereinstimmung zueinander ausgerichtet werden. Also, the calculated virtual images can be equalized epipolar. For example, in epipolar equalization, the two image planes to which an object point has been imaged are transformed. The transformation takes place in such a way that the epipolar lines of both image planes are aligned collinear with one another. This means that the images taken from two different camera perspectives are mapped onto a common plane, the image sizes are adapted to one another by scaling and the pixel rows of the images are aligned in accordance with one another by rotation or existing offset of the images relative to one another.

Werden dann in einer folgenden Korrespondenzanalyse zu einzelnen Objektpunkten in einem ersten Bild die korrespondierenden Objektpunkte in einem zweiten Bild gesucht, ist dies eine eindimensionale Aufgabe. Durch die epipolare Entzerrung beider Bilder liegen korrespondierende Objektpunkte auf einer horizontal gedachten Linie. If the corresponding object points in a second image are then searched in a subsequent correspondence analysis for individual object points in a first image, this is a one-dimensional task. Due to the epipolar equalization of both images, corresponding object points lie on a horizontally imaginary line.

Vorteilhafterweise werden die virtuellen Bilder nach der epipolaren Entzerrung vertikal integriert. Bei der Erkennung von Objekten im Fahrzeugumfeld sind vertikal verlaufende Kanten von Objekten wichtiger, d.h. sie beinhalten mehr Informationen, als horizontal verlaufende Kanten. Um die Datenmenge zu reduzieren, die aufgrund der virtuellen Bilder generiert wird, können die virtuellen Bilder vertikal integriert werden. Die relevanten Informationen, d. h. die vertikalen Kanten stehen weiter für die weiteren Verfahrensschritte zur Verfügung. Advantageously, the virtual images are vertically integrated after the epipolar equalization. When detecting objects in the vehicle environment, vertical edges of objects are more important, ie they contain more information than horizontal edges. To reduce the amount of data generated due to the virtual images, the virtual images can be vertically integrated. The relevant information, ie the vertical edges are still available for the further process steps.

In einer besonders bevorzugten Ausführungsform wird die Korrespondenzanalyse mithilfe von Algorithmen durchgeführt, die einen erweiterten Suchbereich für die Merkmalszuordnung aufweisen. Die Kameras im Außenbereich eines Fahrzeugs müssen aus ästhetischen Gründen in das Fahrzeugdesign eingebunden werden. Dadurch sind diese Kameras nicht vor äußeren Störeinflüssen wie beispielsweise Temperaturänderungen, Vibrationen und dergleichen geschützt. Dadurch ist eine perfekte epipolare Entzerrung der virtuellen Bilder nicht möglich, wodurch sich die anschließende Korrespondenzanalyse erschwert. Es sind Algorithmen wie beispielsweise der optische Fluss bekannt, die insbesondere in der Korrespondenzanalyse dafür eingesetzt werden können, korrespondierende Objektpunkte in einem großen Suchbereich zu erkennen. Dabei erstreckt sich dieser Suchbereich sowohl in horizontaler wie auch in vertikaler Richtung. Somit können auch bei epipolar nicht perfekt entzerrten Bildern korrespondierende Objektpunkte erkannt werden und dadurch eine zuverlässige 3D-Generierung erfolgen. In a particularly preferred embodiment, the correspondence analysis is performed using algorithms having an extended feature allocation search area. The cameras in the exterior of a vehicle must be integrated into the vehicle design for aesthetic reasons. As a result, these cameras are not protected against external disturbances such as temperature changes, vibrations and the like. As a result, a perfect epipolar equalization of the virtual images is not possible, which complicates the subsequent correspondence analysis. Algorithms such as, for example, the optical flow are known, which can be used, in particular in the correspondence analysis, to recognize corresponding object points in a large search area. In this case, this search range extends both in the horizontal and in the vertical direction. Thus, even with epipolar not perfectly equalized images corresponding object points can be detected and thus a reliable 3D generation done.

Die Erfindung betrifft außerdem ein Kamerasystem, das bevorzugt in einem Fahrzeug eingesetzt werden kann. Diese Kamerasystem umfasst zumindest zwei voneinander beabstandete Kameras, deren jeweilige Lage durch die Lage einer optischen Achse definiert ist. Die Kameras können insbesondere Bilder der Umgebung des Fahrzeugs aufnehmen. Weiterhin umfasst das Kamerasystem eine Speichervorrichtung, die eingerichtet ist, Bilder zumindest eines Teilbereichs eines Fahrzeugumfelds zu speichern. Das Kamerasystem ist schließlich erfindungsgemäß eingerichtet ist, die folgenden Schritte auszuführen:

– Definieren einer virtuellen Kameraperspektive für jede Kamera durch eine virtuelle optische Achse, die sich in ihrer Lage von der optischen Achse unterscheidet,
– Berechnen eines virtuellen Bildes des Teilbereichs für jede virtuelle Kameraperspektive aus den gespeicherten Bildern,
– Durchführen einer Korrespondenzanalyse zum Herstellen eines, insbesondere räumlichen, Bezugs zwischen den erzeugten virtuellen Bildern, und
– Berechnen einer dreidimensionalen Abbildung des Teilbereichs basierend auf der Korrespondenzanalyse und den erzeugten virtuellen Bildern.

The invention also relates to a camera system which can preferably be used in a vehicle. This camera system comprises at least two spaced-apart cameras whose respective position is defined by the position of an optical axis. In particular, the cameras can take pictures of the surroundings of the vehicle. Furthermore, the camera system comprises a memory device which is set up to store images of at least one subarea of a vehicle environment. Finally, the camera system is set up according to the invention to carry out the following steps:

Defining a virtual camera angle for each camera by a virtual optical axis that differs in position from the optical axis,
Calculating a virtual image of the subregion for each virtual camera perspective from the stored images,
Performing a correspondence analysis for establishing a, in particular spatial, reference between the generated virtual images, and
Calculating a three-dimensional image of the subarea based on the correspondence analysis and the generated virtual images.

Für das erfindungsgemäße Kamerasystem ist bevorzugt eine Schnittstelle vorgesehen, die mit dem Fahrzeug, insbesondere mit einer optischen Anzeigeeinheit des Fahrzeugs, verbunden ist. Über diese Schnittstelle können Bilder aus der Speichervorrichtung ausgegeben werden, um diese bevorzugt dem Fahrer des Fahrzeugs anzuzeigen. Beispielsweise kann dem Fahrer dadurch ein Abbild des rückwärtigen Raumes des Fahrzeugs gezeigt werden.For the camera system according to the invention, an interface is preferably provided which is connected to the vehicle, in particular to an optical display unit of the vehicle. Via this interface, images can be output from the storage device in order to display them preferably to the driver of the vehicle. For example, the driver may thereby be shown an image of the rear space of the vehicle.

In einer bevorzugten Weiterbildung des erfindungsgemäßen Kamerasystems können die Bilder, die mit dem Kamerasystem erstellt wurden, zu einer zumindest teilweisen Panoramadarstellung des Fahrzeugumfelds zusammengesetzt werden. Dies vereinfacht es für den Fahrer, den Überblick über das Umfeld seines Fahrzeugs zu behalten, insbesondere dann, wenn sich Hindernisse in schwer einsehbaren Bereichen seines Fahrzeugs befinden.In a preferred embodiment of the camera system according to the invention, the images that were created with the camera system can be combined to form an at least partial panorama representation of the vehicle surroundings. This makes it easier for the driver to keep track of the surroundings of his vehicle, especially when obstacles are in difficult to see areas of his vehicle.

Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben und in der Beschreibung beschrieben. Advantageous developments of the invention are specified in the subclaims and described in the description.

Zeichnungendrawings

Ausführungsbeispiele der Erfindung werden anhand der Zeichnungen und der nachfolgenden Beschreibung näher erläutert. Es zeigen: Embodiments of the invention will be explained in more detail with reference to the drawings and the description below. Show it:

1 ein Fahrzeug mit mehreren Kameras in der Draufsicht, 1 a vehicle with several cameras in plan view,

2 ein Flussdiagramm des erfindungsgemäßen Verfahrens, 2 a flow chart of the method according to the invention,

3 das Fahrzeug mit mehreren Kameras, für die eine virtuelle optische Achse definert wurde, in der Draufsicht, 3 the vehicle with several cameras, for which a virtual optical axis has been defined, in plan view,

4a das Ergebnis einer Korrespondenzanalyse am Beispiel eines Hauses, und 4a the result of a correspondence analysis using the example of a house, and

4b das Ergebnis einer Korrespondenzanalyse bei nicht vollständig epipolar entzerrten virtuellen Bildern am Beispiel des Hauses. 4b the result of a correspondence analysis of not completely epipolar equalized virtual images using the example of the house.

Ausführungsform der ErfindungEmbodiment of the invention

1 zeigt ein Fahrzeug 1 von oben, an dem eine Frontkamera 2, zwei Seitenkameras 3 und eine Heckkamera 4 angeordnet sind. Jede Kamera 2, 3, 4 blickt aus einer unterschiedlichen Kameraperspektive, die durch die Lage einer optischen Achse 5 definiert ist, auf ein Fahrzeugumfeld 6. 1 shows a vehicle 1 from above, on which a front camera 2 , two side cameras 3 and a rear camera 4 are arranged. Every camera 2 . 3 . 4 looks out of a different Camera perspective, due to the location of an optical axis 5 is defined on a vehicle environment 6 ,

Die Positionen der Kameras 2, 3, 4 am Fahrzeug 1 sind serienmäßig derart gewählt, dass ein 360° Rundumblick um das Fahrzeug 1 ermöglicht wird. Die Blickfelder der einzelnen Kameras 2, 3, 4 überschneiden sich in einem ersten Teilbereich 7, in einem zweiten Teilbereich 8, in einem dritten Teilbereich 9 und einem vierten Teilbereich 10. Gemäß 1 liegen die Teilbereiche 7, 8, 9, 10 in Fahrtrichtung 11 des Fahrzeugs 1 links und rechts vor und hinter dem Fahrzeug 2. Diese Teilbereiche 7, 8, 9, 10 werden jeweils von zwei Kameras 2, 3, 4 aus unterschiedlichen Kameraperspektiven erfasst. Zwei jeweils benachbarte Kameras 2, 3, 4, deren Blickfeld sich in dem jeweiligen Teilbereich 7, 8, 9, 10 überschneidet, bilden jeweils ein Kamerasystem 12, mittels dem der jeweilige Teilbereich 7, 8, 9, 10 abgebildet wird. The positions of the cameras 2 . 3 . 4 at the vehicle 1 are as standard chosen so that a 360 ° all-round view of the vehicle 1 is possible. The fields of view of the individual cameras 2 . 3 . 4 overlap in a first subarea 7 , in a second section 8th , in a third section 9 and a fourth subarea 10 , According to 1 lie the subareas 7 . 8th . 9 . 10 in the direction of travel 11 of the vehicle 1 left and right in front of and behind the vehicle 2 , These subareas 7 . 8th . 9 . 10 are each from two cameras 2 . 3 . 4 captured from different camera angles. Two neighboring cameras 2 . 3 . 4 whose field of vision is in the respective subarea 7 . 8th . 9 . 10 overlaps, each forming a camera system 12 , by means of which the respective subarea 7 . 8th . 9 . 10 is shown.

Im Falle des ersten Teilbereichs 7 bilden die Frontkamera 2 und die Seitenkamera 3 in Fahrtrichtung 11 auf der rechten Seite des Fahrzeugs 2 das Kamerasystem 12 mit dem der erste Teilbereich 7 erfasst wird. Für den zweiten Teilbereich 8 bilden die Seitenkamera 3 in Fahrtrichtung 11 auf der rechten Seite des Fahrzeugs 1 und die Heckkamera 4 das Kamerasystem 12. Analog verhält es sich für den dritten Teilbereich 9 und den vierten Teilbereich 10. In the case of the first subarea 7 form the front camera 2 and the side camera 3 in the direction of travel 11 on the right side of the vehicle 2 the camera system 12 with the first section 7 is detected. For the second section 8th make up the side camera 3 in the direction of travel 11 on the right side of the vehicle 1 and the rear camera 4 the camera system 12 , The same applies to the third subarea 9 and the fourth subsection 10 ,

Im Folgenden soll beispielhaft anhand des Teilbereichs 7 das erfindungsgemäße Verfahren unter Bezugnahme auf die 1 bis 4b näher erläutert werden. Es versteht sich, dass das erfindungsgemäße Verfahren auf die vier Teilbereiche 7, 8, 9, 10 gleichzeitig angewendet werden kann. Es ist aber auch denkbar, mehr als vier Kameras an dem Fahrzeug 1 vorzusehen, so dass mehr als die beschriebenen vier Teilbereiche 7, 8, 9, 10 erfasst werden können. Es ist ebenfalls denkbar, die Anzahl der erfassten Teilbereiche soweit zu steigern, dass das gesamte Fahrzeugumfeld 6 erfasst werden kann. The following is an example based on the subarea 7 the inventive method with reference to the 1 to 4b be explained in more detail. It is understood that the inventive method to the four sub-areas 7 . 8th . 9 . 10 can be applied simultaneously. But it is also conceivable, more than four cameras on the vehicle 1 provide, so that more than the four sub-areas described 7 . 8th . 9 . 10 can be detected. It is also conceivable to increase the number of detected subareas so much that the entire vehicle environment 6 can be detected.

Gemäß 2 erfolgt in einem ersten Schritt 13 des erfindungsgemäßen Verfahrens eine Bilderfassung. Hierzu wird der erste Teilbereich 7 von zwei voneinander beabstandeten Kameras 2, 3 aufgenommen. Die daraus gewonnenen Bilder werden auf einem Speichermedium (nicht dargestellt) in Form von Bilddaten gespeichert. According to 2 takes place in a first step 13 the method according to the invention an image capture. For this purpose, the first subarea 7 from two spaced cameras 2 . 3 added. The images obtained therefrom are stored on a storage medium (not shown) in the form of image data.

Üblicherweise werden zur Umfelderkennung die Kameras 2, 3 eines Fahrzeugs 1 mit Weitwinkellinsen, auch bekannt als Fischaugenobjektive, ausgerüstet. Dadurch sind die aus dem ersten Schritt 13 gewonnenen Bilder des Teilbereichs 7 stark verzerrt. Usually the cameras are used for environment detection 2 . 3 of a vehicle 1 equipped with wide-angle lenses, also known as fisheye lenses. These are the ones from the first step 13 obtained images of the subarea 7 heavily distorted.

Erfindungsgemäß erfolgt daher in einem zweiten Schritt 14 des Verfahrens eine Korrektur der Verzerrungen. Eine solche Korrektur kann durch Näherungsverfahren erfolgen, die aus dem Stand der Technik bekannt sind. Beispielsweise werden Kameramodelle generiert, deren Parameter anhand der Kalibrierungen der Kameras 2, 3 geschätzt werden können. Durch Anwendung des zweiten Schritts 14 werden entzerrte Bilder des Teilbereichs 7 erzeugt. According to the invention therefore takes place in a second step 14 of the method, a correction of the distortions. Such correction may be by approximation methods known in the art. For example, camera models are generated, their parameters based on the calibrations of the cameras 2 . 3 can be estimated. By applying the second step 14 become equalized images of the subarea 7 generated.

In einem dritten Schritt 15 des Verfahrens werden virtuelle Kameraperspektiven definiert. Es werden virtuelle Bilder, basierend auf den im vorangegangenen Schritt 14 gewonnenen Bildern berechnet, und epipolar entzerrt. Der Verfahrensschritt 15 soll unter Zuhilfenahme der 3 bis 4b erläutert werden. In a third step 15 The procedure defines virtual camera perspectives. It will be virtual images, based on the previous step 14 calculated images and rectified epipolar. The process step 15 should with the help of the 3 to 4b be explained.

Da die Frontkamera 2 und die Seitenkamera 3, die den Teilbereich 7 im Verfahrensschritt 13 aufgenommen haben am Fahrzeug 1 voneinander beabstandet angeordnet sind, unterscheiden sich die aufgenommenen Bilder des Teilbereichs 7 deutlich voneinander. Dies erschwert es, bei der späteren Generierung einer 3D-Umgebung einzelne übereinstimmende Objektpunkte in beiden Bildern der Kameras 2, 3 wiederzuerkennen. Um dies zu vereinfachen, werden für jede Kamera 2, 3 virtuelle Kameraperspektiven generiert. Die Kameraperspektiven sind über die Lage einer virtuellen optischen Achse 16 definiert. 3 zeigt die schon aus 1 bekannten optischen Achsen 5 und die virtuellen optischen Achsen 16 der Frontkamera 2 und der Seitenkamera 3. Because the front camera 2 and the side camera 3 that the subarea 7 in the process step 13 have taken on the vehicle 1 are spaced from each other, the recorded images of the sub-area differ 7 distinct from each other. This complicates, in the later generation of a 3D environment, individual matching object points in both images of the cameras 2 . 3 recognition. To simplify this, for each camera 2 . 3 generates virtual camera perspectives. The camera perspectives are about the position of a virtual optical axis 16 Are defined. 3 that shows already 1 known optical axes 5 and the virtual optical axes 16 the front camera 2 and the side camera 3 ,

Die virtuellen optischen Achsen 16 entstehen durch eine virtuelle Rotation der optischen Achsen 5 um ein optisches Zentrum der Kameras 2, 3. Dabei erfolgt die virtuelle Rotation derart, dass die optischen Achsen 16 parallel zueinander angeordnet werden. The virtual optical axes 16 arise through a virtual rotation of the optical axes 5 around an optical center of the cameras 2 . 3 , The virtual rotation takes place in such a way that the optical axes 16 be arranged parallel to each other.

Nach Definition der virtuellen Kameraperspektiven wird für jede virtuelle Kameraperspektive ein virtuelles Bild des Teilbereichs 7 aus den in Schritt 13 gespeicherten Bildern bzw. Bilddaten und den dann im Schritt 14 entzerrten Bildern berechnet. After defining the virtual camera perspectives, each virtual camera perspective becomes a virtual image of the subspace 7 out of the step 13 stored images or image data and then in the step 14 calculated equalized images.

Der Schritt 15 des erfindungsgemäßen Verfahrens beinhaltet auch eine epipolare Entzerrung der virtuellen Bilder. Dabei werden die virtuellen Bilder, die aus den zwei unterschiedlichen virtuellen Kameraperspektiven berechnet wurden auf eine gemeinsame Ebene abgebildet und hinsichtlich ihrer Größe und Orientierung identisch ausgerichtet. Nach dieser epipolaren Entzerrung sind die einzelnen Pixelreihen der beiden virtuellen Bilder identisch ausgerichtet, so dass einander entsprechende Objektpunkte auf einer horizontalen Linie liegen. The step 15 The method according to the invention also includes an epipolar equalization of the virtual images. The virtual images, which were calculated from the two different virtual camera perspectives, are mapped to a common level and aligned identically in terms of their size and orientation. After this epipolar equalization, the individual pixel rows of the two virtual images are aligned identically so that corresponding object points lie on a horizontal line.

Als Ergebnis des Schritts 15 liegen epipolar entzerrte virtuelle Bilder vor, die den Teilbereich 7 aus zwei unterschiedlichen virtuellen Kameraperspektiven zeigen. Im Rahmen eines vierten Schritts 17 des erfindungsgemäßen Verfahrens werden diese virtuellen Bilder zueinander in Bezug gesetzt. Dies erfolgt mithilfe einer Korrespondenzanalyse. As a result of the step 15 epipolar equalized virtual images are present, which are the subarea 7 from two different virtual camera perspectives. As part of a fourth step 17 In the method according to the invention, these virtual images are related to one another. This is done using a correspondence analysis.

Das Prinzip einer Korrespondenzanalyse ist bekannt. Es werden jeweils zwei Bildpunkte, die einen Punkt des Teilbereichs 7 aus den zwei virtuellen Kameraperspektiven zeigen, im Rahmen der vorliegenden Erfindung auch korrespondierende Objektpunkte genannt, in den virtuellen Bildern zueinander in Bezug gesetzt. 4a zeigt das Ergebnis einer erfolgreich durchgeführten Korrespondenzanalyse am Beispiel eines Hauses 18, das aus zwei unterschiedlichen Perspektiven aufgenommen wurde. Im Rahmen der Korrespondenzanalyse wurden beispielsweise die einzelnen Objektpunkte eines oberen Türrahmens 20 des Hauses 18 durch die horizontale Linie 19 zueinander in Bezug gesetzt. The principle of a correspondence analysis is known. There are two pixels each, which is a point of the subarea 7 from the two virtual camera perspectives, in the context of the present invention also called corresponding object points, set in relation to each other in the virtual images. 4a shows the result of a successful correspondence analysis using the example of a house 18 that was taken from two different perspectives. As part of the correspondence analysis, for example, the individual object points of an upper door frame 20 of the House 18 through the horizontal line 19 related to each other.

Da die Kameras 2, 3 im Außenbereich des Fahrzeuges 1 angeordnet sind, sind sie Störeinflüssen wie beispielsweise Temperaturschwankungen oder Vibrationen ausgesetzt. Dadurch können die mittels der Kamera 2, 3 aufgenommenen Bilder zusätzliche Verzerrungen aufweisen, die eine perfekte epipolare Entzerrung unmöglich machen und dadurch eine anschließende Korrrespondenzanalyse deutlich erschweren. 4b zeigt am Beispiel des Hauses 18 zwei Bilder die nicht vollständig epipolar entzerrt wurden. Because the cameras 2 . 3 in the exterior of the vehicle 1 are arranged, they are exposed to disturbing influences such as temperature fluctuations or vibrations. This allows the means of the camera 2 . 3 recorded images have additional distortions that make a perfect epipolar equalization impossible and thereby complicate a subsequent correspondence analysis significantly. 4b shows the example of the house 18 two pictures that were not completely rectified epipolarly.

Um das Durchführen einer Korrespondenzanalyse zu erleichtern, werden erfindungsgemäß Algorithmen verwendet, die einen erweiterten Suchbereich für korrespondierende Objektpunkte aufweisen. Solche Algorithmen, wie beispielsweise der Algorithmus des optischen Flusses, ermöglichen, dass die einander entsprechenden Objektpunkte nicht zwangsläufig auf einer horizontalen Linie liegen müssen sondern auch bei einer vertikalen Abweichung zueinander gefunden werden können. In 4b ist dies beispielhaft an dem Objektpunkt der linken unteren Hausecke 21 zu erkennen. Die einander korrespondierenden Objektpunkte der linken unteren Ecke 21 des Hauses 18 liegen nicht auf einer horizontalen Linie sondern weisen einen vertikalen Versatz zueinander auf. Trotzdem konnten sie mittels des optischen Flusses über die Linie 22 zueinander in Bezug gesetzt werden. In order to facilitate the performance of a correspondence analysis, according to the invention algorithms are used which have an extended search range for corresponding object points. Such algorithms, such as the optical flow algorithm, allow the object points corresponding to each other not necessarily to be on a horizontal line but also to be found in a vertical deviation from one another. In 4b this is an example of the object point of the lower left corner of the house 21 to recognize. The corresponding object points of the lower left corner 21 of the House 18 are not on a horizontal line but have a vertical offset to each other. Nevertheless, they were able to cross the line by means of the optical flow 22 related to each other.

Als Ergebnis des vierten Schritts 17 des erfindungsgemäßen Verfahrens sind die Bezüge zwischen zwei virtuellen Bildern bekannt. Im Rahmen eines fünften Schritts 23 werden nun basierend auf den Ergebnissen der Korrespondenzanalyse und den erzeugten virtuellen Bildern dreidimensionale Abbildungen des Teilbereichs 7 erzeugt. Dies erfolgt auf bekannte Art und Weise. As a result of the fourth step 17 In the method according to the invention, the relationships between two virtual images are known. As part of a fifth step 23 Now, based on the results of the correspondence analysis and the generated virtual images, three-dimensional images of the subarea 7 generated. This is done in a known manner.

Die beschriebenen einzelnen Schritte des Verfahrens und die unter den jeweiligen Verfahrensschritten zusammengefassten einzelnen Arbeitsschritte können in der beschriebenen Reihenfolge durchgeführt werden. Es ist aber auch denkbar die Reihenfolge der einzelnen Schritte und/oder der einzelnen Arbeitsschritte abzuändern. The described individual steps of the method and the individual steps combined under the respective method steps can be carried out in the order described. However, it is also conceivable to change the order of the individual steps and / or the individual work steps.

Optional kann nach dem dritten Verfahrensschritt 15, dass heißt nach der epipolaren Entzerrung der virtuellen Bilder ein weiterer Verfahrensschritt 24 durchgeführt werden. In diesem Verfahrensschritt werden die als Ergebnis des dritten Schritts 15 gewonnen virtuellen Bilder vertikal integriert. Insbesondere bei der Objekterkennung enthalten die vertikalen Ecken der zu detektierenden Objekte mehr Informationen als die horizontalen Ecken der. Mittels vertikalem Integrieren der virtuellen Bilder werden die wichtigsten Informationen, nämlich die der vertikal verlaufenden Ecken, beibehalten und gleichzeitig die anfallende Datenmenge reduziert. Optionally, after the third process step 15 That is, after the epipolar equalization of the virtual images, a further process step 24 be performed. In this process step, the as a result of the third step 15 won virtual images vertically integrated. Particularly in the case of object recognition, the vertical corners of the objects to be detected contain more information than the horizontal corners of the objects. By vertically integrating the virtual images, the most important information, namely that of the vertical corners, while maintaining the amount of data reduced.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102009005505 A1 [0002] DE 102009005505 A1 [0002]
DE 10326943 A1 [0003, 0009] DE 10326943 A1 [0003, 0009]

Claims

Verfahren zur dreidimensionalen Abbildung zumindest eines Teilbereichs (7, 8, 9, 10) eines Fahrzeugumfelds (6) mithilfe eines Kamerasystems (12), umfassend zumindest zwei voneinander beabstandete Kameras (2, 3, 4), die an einem Fahrzeug (1) angeordnet sind und deren jeweilige Kameraperspektive durch die Lage einer optischen Achse (5) definiert ist, umfassend die folgenden Schritte: – Aufnehmen des Teilbereichs (7, 8, 9, 10) mit den zwei voneinander beabstandeten Kameras (2, 3, 4) und – Speichern von Bildern, die durch das Aufnehmen des Teilbereichs (7, 8, 9, 10) gewonnen wurden, gekennzeichnet durch die folgenden Schritte: – Definieren einer virtuellen Kameraperspektive für jede Kamera (2, 3, 4) durch eine virtuelle optische Achse (16), die sich in ihrer Lage von der optischen Achse (5) unterscheidet, – Berechnen eines virtuellen Bildes des Teilbereichs (7, 8, 9, 10) für jede virtuelle Kameraperspektive aus den gespeicherten Bildern, – Durchführen einer Korrespondenzanalyse zum Herstellen eines, insbesondere räumlichen, Bezugs zwischen den erzeugten virtuellen Bildern, – Berechnen einer dreidimensionalen Abbildung des Teilbereichs (7, 8, 9, 10) basierend auf der Korrespondenzanalyse und den erzeugten virtuellen Bildern.Method for three-dimensional imaging of at least one partial area ( 7 . 8th . 9 . 10 ) of a vehicle environment ( 6 ) using a camera system ( 12 ) comprising at least two spaced-apart cameras ( 2 . 3 . 4 ) on a vehicle ( 1 ) and their respective camera perspective by the position of an optical axis ( 5 ), comprising the following steps: - recording the subregion ( 7 . 8th . 9 . 10 ) with the two spaced apart cameras ( 2 . 3 . 4 ) and - storing images obtained by capturing the subregion ( 7 . 8th . 9 . 10 ), characterized by the following steps: defining a virtual camera angle for each camera ( 2 . 3 . 4 ) by a virtual optical axis ( 16 ), which differ in their position from the optical axis ( 5 ), - calculating a virtual image of the subregion ( 7 . 8th . 9 . 10 ) for each virtual camera perspective from the stored images, - performing a correspondence analysis for establishing a, in particular spatial, reference between the generated virtual images, - calculating a three-dimensional image of the subregion ( 7 . 8th . 9 . 10 ) based on the correspondence analysis and the generated virtual images.

Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die virtuellen optischen Achsen (16) der Kameras (2, 3, 4) in den virtuellen Kameraperspektiven parallel zueinander angeordnet werden.Method according to claim 1, characterized in that the virtual optical axes ( 16 ) of the cameras ( 2 . 3 . 4 ) are arranged parallel to each other in the virtual camera perspectives.

Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass jede Kamera (2, 3, 4) von der Kameraperspektive in die virtuelle Kameraperspektive mithilfe einer virtuellen Rotation um das optische Zentrum der jeweiligen Kamera (2, 3, 4) überführt wird. Method according to one of the preceding claims, characterized in that each camera ( 2 . 3 . 4 ) from the camera perspective into the virtual camera perspective using a virtual rotation around the optical center of the respective camera ( 2 . 3 . 4 ) is transferred.

Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Verzerrungen in den real aufgenommen Bilder des Teilbereichs (7, 8, 9, 10) mithilfe von Näherungsverfahren, insbesondere durch ein virtuelles Kameramodell, korrigiert werden.Method according to one of the preceding claims, characterized in that distortions in the real images of the subregion ( 7 . 8th . 9 . 10 ) are corrected using approximate methods, in particular a virtual camera model.

Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die berechneten virtuellen Bilder epipolar entzerrt werden.Method according to one of the preceding claims, characterized in that the calculated virtual images are epipolar equalized.

Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die virtuellen Bilder nach der epipolaren Entzerrung vertikal integriert werden.A method according to claim 5, characterized in that the virtual images are integrated vertically after the epipolar equalization.

Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Korrespondenzanalyse mithilfe von Algorithmen durchgeführt wird, die einen erweiterten Suchbereich für die Merkmalszuordnung aufweisen.Method according to one of the preceding claims, characterized in that the correspondence analysis is carried out by means of algorithms having an extended search range for the feature assignment.

Kamerasystem, bevorzugt für ein Fahrzeug, umfassend zumindest zwei voneinander beabstandete Kameras (2, 3, 4), deren jeweilige Lage durch die Lage einer optischen Achse (5) definiert ist und eine Speichervorrichtung, die eingerichtet ist, Bilder zumindest eines Teilbereichs (7, 8, 9, 10) eines Fahrzeugumfelds (6) zu speichern, wobei die Bilder mit den beabstandeten Kameras (2, 3, 4) aufnehmbar sind, dadurch gekennzeichnet, dass das Kamerasystem eingerichtet ist, die folgenden Schritte auszuführen: – Definieren einer virtuellen Kameraperspektive für jede Kamera (2, 3, 4) durch eine virtuelle optische Achse (16), die sich in ihrer Lage von der optischen Achse (5) unterscheidet, – Berechnen eines virtuellen Bildes des Teilbereichs (7, 8, 9, 10) für jede virtuelle Kameraperspektive aus den gespeicherten Bildern, – Durchführen einer Korrespondenzanalyse zum Herstellen eines, insbesondere räumlichen, Bezugs zwischen den erzeugten virtuellen Bildern, – Berechnen einer dreidimensionalen Abbildung des Teilbereichs (7, 8, 9, 10) basierend auf der Korrespondenzanalyse und den erzeugten virtuellen Bildern.Camera system, preferably for a vehicle, comprising at least two spaced-apart cameras ( 2 . 3 . 4 ), whose respective position is determined by the position of an optical axis ( 5 ) and a memory device that is set up, images of at least one subarea ( 7 . 8th . 9 . 10 ) of a vehicle environment ( 6 ), the images with the spaced cameras ( 2 . 3 . 4 ), characterized in that the camera system is adapted to perform the following steps: - Defining a virtual camera angle for each camera ( 2 . 3 . 4 ) by a virtual optical axis ( 16 ), which differ in their position from the optical axis ( 5 ), - calculating a virtual image of the subregion ( 7 . 8th . 9 . 10 ) for each virtual camera perspective from the stored images, - performing a correspondence analysis for establishing a, in particular spatial, reference between the generated virtual images, - calculating a three-dimensional image of the subregion ( 7 . 8th . 9 . 10 ) based on the correspondence analysis and the generated virtual images.

Kamerasystem nach Anspruch 8, umfassend eine Schnittstelle, die mit dem Fahrzeug, insbesondere mit einer optischen Anzeigeeinheit des Fahrzeugs, verbunden ist und die eingerichtet ist, die Bilder aus der Speichervorrichtung auszugeben.A camera system according to claim 8, comprising an interface connected to the vehicle, in particular to an optical display unit of the vehicle, and arranged to output the images from the storage device.

Kamerasystem nach Anspruch 9, dadurch gekennzeichnet, dass die Bilder zu einer zumindest teilweisen Panoramadarstellung des Fahrzeugumfelds (6) zusammensetzbar sind.Camera system according to claim 9, characterized in that the images to an at least partial panoramic representation of the vehicle environment ( 6 ) are composable.