WO2007087975A2 - Verfahren zum zusammenfügen mehrerer bildaufnahmen zu einem gesamtbild in der vogelperspektive - Google Patents

Verfahren zum zusammenfügen mehrerer bildaufnahmen zu einem gesamtbild in der vogelperspektive Download PDF

Info

Publication number
WO2007087975A2
WO2007087975A2 PCT/EP2007/000231 EP2007000231W WO2007087975A2 WO 2007087975 A2 WO2007087975 A2 WO 2007087975A2 EP 2007000231 W EP2007000231 W EP 2007000231W WO 2007087975 A2 WO2007087975 A2 WO 2007087975A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
bird
eye view
recordings
images
Prior art date
Application number
PCT/EP2007/000231
Other languages
English (en)
French (fr)
Other versions
WO2007087975A3 (de
Inventor
Tobias Ehlgen
Joachim Gloger
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Priority to JP2008551689A priority Critical patent/JP2009524171A/ja
Priority to US12/161,925 priority patent/US20090022423A1/en
Publication of WO2007087975A2 publication Critical patent/WO2007087975A2/de
Publication of WO2007087975A3 publication Critical patent/WO2007087975A3/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Definitions

  • the invention relates to a method for assembling a plurality of images to an overall bird's eye view.
  • panoramic images or images in one Any other perspective can be converted into a bird's-eye view.
  • such representations are used in a bird's-eye view in the environmental detection by means of cameras on vehicles, for example, a driver on a display during parking an environment image is displayed in a bird's eye view.
  • a monitoring device with a plurality of image recording units and a unit for composing images is shown. Recorded images are converted by adjusting the angle of view in each case an overview image with the same angle of inclination.
  • a broadband overview image is created by combining all the overview images by means of the image composition unit, superimposing identical scene regions of all the overview images.
  • the overview image with the highest image quality of the superimposed region is selected from among all the overview images, so that distortions are minimized.
  • the highest image quality overview image is the one overview image in which a particular object within the overlay region is displayed to the greatest extent.
  • the overview image with the highest image quality is that overview image in which the amount of change of the inclination angle of a specific object in the overlapping region before and after the conversion of the viewing angle is the lowest.
  • the invention is based on the object of providing a method for assembling a plurality of image recordings to form an overall bird's-eye view image which requires little processing effort and enables reliable reproduction of image information.
  • a method for assembling a plurality of image recordings into an overall bird's eye view is proposed.
  • the at least two image recordings are then transformed into a bird's-eye view and image sections of the transformed image recordings are combined to form an overall bird's eye view.
  • the image sections are selected such that shadows caused by moving objects are projected onto a previously defined reference surface in the same direction in the transition from a first image section to a second image section in the overall image.
  • image information is transformed into a bird's eye view, by these are first projected onto a previously defined reference surface. Subsequently, images of the projected image information from a virtual Position, which is located above the reference surface, preferably detected by means of a Lochtremodells from a bird's eye view.
  • the reference surface is that plane or a plane parallel to the plane which approximates the bottom surface above which the image pickup positions are located.
  • individual image recordings or individual image sections are usually transformed independently of each other in the bird's eye view.
  • the image recordings acquired from different recording positions are completely transformed into a bird's-eye view, wherein suitable image sections are then selected for presentation or further processing on the basis of the transformed image recordings.
  • the at least two image sections are already selected before the transformation into the bird's-eye view.
  • the area ratio of the at least two image recordings and / or image detail is different. Even if the at least two image recordings have the same size due to the image sensor (s) used, it makes sense for the size of the image recordings or image detail to be adapted such that they have surfaces of different sizes. This results in the transformation into a bird's eye view for the user an intuitively better catchy presentation.
  • the transformation is preferably carried out in such a way that approximately 1 % of the image components in an overall image originate from an image acquisition from a first image acquisition position and approximately 1 A from the image components from a further image acquisition from a second image acquisition position.
  • the area ratio of the at least two image sections in the overall image is approximately 3: 4.
  • the transition between the two image sections preferably does not take place along a boundary line which runs vertically in the middle of the overall image, but preferably along a boundary line which runs asymmetrically between the image sections in the overall image.
  • the boundary line does not necessarily have to be a straight line; the boundary line may also be a curve, for example, depending on the arrangement of the image sensor system and / or its design.
  • look-up tables are used in the transformation of the image recordings into a bird's eye view.
  • look-up tables so-called look-up tables
  • a description of the relationships between an image acquisition and a bird's eye view transformed image is stored in memory in a data structure.
  • the transformation therefore replaces complicated and expensive runtime problems with easy access to this data structure. This measure results in a profitable way to a significant reduction in processing costs.
  • the image recordings are image recordings of calibrated image sensors. If the image sensors are fixedly placed in their use and the at least two image pickup positions and / or the sensor orientations do not change, advantageously a one-time calibration of the image sensor (s) is completely sufficient. However, if the image pickup positions and / or sensor orientations change, recalibration is required. To those skilled in the field of image processing, a number of methods for camera calibration from the prior art are already known.
  • the image recordings are recorded by means of omnidirectional cameras.
  • Such cameras are already known from the prior art, these essentially comprise a camera chip and a mirror. This makes it possible to capture ambient areas of up to 360 ° with a single image capture.
  • when using a plurality of omnidirectional cameras they are calibrated to a reference plane in a common coordinate system.
  • the inventive method for environmental detection is used on a motor vehicle. So that the driver does not overlook obstacles or other road users, an overall picture of the vehicle surroundings is shown in bird's eye view on a display in the vehicle interior.
  • the vehicle environment can be intuitively and better understood by a suitable selection of image sections to the driver being represented.
  • the representation of the vehicle environment is preferably seamless. In this case, all blind spot areas around the vehicle are detected, including those which the driver would otherwise be unable to see with the vehicle mirrors.
  • the method is for example suitable for use in trucks, buses or construction vehicles, especially since the driver often has a poor view of the vehicle environment due to the vehicle body.
  • the driver can by the use of the method, for example when parking, turning at intersections or when maneuvering in an advantageous manner get supported.
  • An ideal position for the arrangement of image sensors on a vehicle are, above all, positions in the vicinity of the vehicle mirrors. For example, only one omnidirectional camera at each of the front outer corners of a vehicle is needed to detect both the blind spot area ahead of the vehicle front and the blind spot areas on both sides of the vehicle.
  • Fig. 1 is an environmental detection of 2 recording positions, with shading in different directions
  • Fig. 2 is an environmental detection of 2 recording positions, with shadowing in the same direction
  • Figure 1 shows an example of an environmental detection based on two recording positions with shadowing in different directions.
  • This is a road vehicle (1) in bird's eye view, which is equipped at the outer corners of the vehicle front, each with an omnidirectional camera (2,3).
  • a boundary line (4) for defining image sections was
  • the reference plane is located in the plane of the drawing.
  • discontinuities may also occur at the boundary line (4) as a function of the object height.
  • Objects that are in the reference plane are projected in the image sections (7, 8) at the same positions in the image.
  • Figure 2 shows an example of an environmental detection based on two recording positions with shadowing in about the same direction.
  • the boundary line (4) for selecting image sections (7, 8) is selected such that shadings (5, 6) caused by objects are projected onto the reference surface in substantially the same direction.
  • the boundary line (4) runs in the overall picture in a bird's-eye view of the omnidirectional camera (3) from the position where the omnidirectional camera (2) is installed. With the omnidirectional camera (3), the surrounding area ahead of the vehicle (1) is detected and represented in the overall picture as an image detail (7) which is located above the boundary line (4).
  • the omnidirectional camera (2) With the omnidirectional camera (2), the area to the left of the vehicle (1) is detected and displayed in the overall picture as an image detail (8), which is located below the boundary line (4).
  • the shadowing (5, 6) caused by an object in the overall image in the area of the boundary line (4) is scaled differently, but the shadowing is visible at all times in the overall image, regardless of the object height.
  • the course of the boundary line (4) was selected such that the transition between the image sections (7, 8) is located in a left-hand drive on the driver's side.
  • the larger blind spot areas on the right side of the vehicle (1) are detected with the omnidirectional camera (3), with no transition between frames on this page.
  • the transition on the basis of the boundary line (4) on the right side of the vehicle (1). Furthermore, it is not necessary that the boundary line (4) runs horizontally in the overall picture. It is also a diagonal course of the boundary line (4) conceivable, it must be ensured that shadows caused by moving objects (5,6) in the transition in the overall picture of a first image section (7,8) in a second image section (8,7 ) are projected in substantially the same direction onto a previously defined reference surface. LIST OF REFERENCE NUMBERS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Circuits (AREA)

Abstract

Beim Zusammensetzen mehrerer aneinander angrenzender Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive können in den Übergangsbereichen einzelner Bildausschnitte (7, 8) neben Verzerrungen auch Sprungstellen auftreten, worin erfasste Objekte aufgrund perspektivischer Unterschiede nicht zu sehen sind. Es wird daher ein Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive vorgeschlagen, wobei wenigstens zwei Bildaufnahmen von sich überlappenden oder aneinander angrenzenden Umgebungsbereichen aus unterschiedlichen Bildaufnahmepositionen (2, 3) erfasst werden. Die Bildaufnahmen werden in die Vogelperspektive transformiert und Bildausschnitte der transformierten Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive zusammenfügt. Die Bildausschnitte sind dabei derart gewählt, dass durch bewegte Objekte hervorgerufene Abschattungen (5, 6) beim Übergang im Gesamtbild von einem ersten Bildausschnitt (7,8) in einen zweiten Bildausschnitt (8, 7) im Wesentlichen in dieselbe Richtung auf eine zuvor definierte Referenzfläche projiziert werden.

Description

Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
[0001] Die Erfindung betrifft ein Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive .
[0002] Aus dem Stand der Technik ist es bekannt, dass mehrere aus unterschiedlichen Aufnahmepositionen und/oder Aufnahmerichtungen gewonnene Bildaufnahmen zu einem Gesamtbild zusammengesetzt werden. Der Grund hierfür ist häufig, dass ein möglichst großer Umgebungsbereich mit einer einzigen Bilddarstellung wiedergegeben werden soll. Dies ist beispielsweise aus der Fotografie bekannt, wobei mehrere Einzelbilder zu einem Panoramabild zusammengefügt werden. Auch ist es bekannt, dass mehrere Bildaufnahmen unterschiedlicher Bildsensoren (Kamera, Radar, ...) mittels einer Rechnereinheit zu einem Gesamtbild fusioniert werden. Hierbei entsteht jedoch üblicherweise ein hoher Verarbeitungsaufwand, da die jeweiligen Bildinformationen vor der Fusionierung aneinander angepasst werden müssen. Beispielsweise werden Bildaufnahmen mehrerer Kameras mit unterschiedlicher Auflösung oder welche in unterschiedlichen Wellenlängenspektren (IR, VIS, ...) empfindlich sind zu einem Gesamtbild zusammengefügt. Weiterhin ist es bekannt, dass panoramische Bildaufnahmen oder Bildaufnahmen in einer beliebigen anderen Perspektive in eine Bilddarstellung in Vogelperspektive umgerechnet werden. Beispielsweise werden derartige Darstellungen in einer Vogelperspektive bei der Umgebungserfassung mittels Kameras an Fahrzeugen verwendet, wobei z.B. einem Fahrer auf einem Display während dem Einparken ein Umgebungsbild in der Vogelperspektive dargestellt wird.
[0003] In der DE 102005023461A1 wird eine Überwachungseinrichtung mit mehreren Bildaufnahmeeinheiten und einer Einheit zum Zusammensetzen von Bildern gezeigt. Aufgenommene Bilder werden durch Anpassung des Blickwinkels in jeweils ein Überblicksbild mit demselben Neigungswinkel umgewandelt. Es wird ein breitbandiges Überblicksbild erzeugt, indem alle Überblicksbilder mittels der Einheit zur Zusammensetzung von Bildern vereint werden, wobei identische Szenenbereiche aller Überblicksbilder überlagert werden. In dem breitbandigen Überblicksbild wird jeweils dasjenige Überblicksbild mit der höchsten Bildqualität des überlagerten Bereichs unter allen Überblicksbildern ausgewählt, sodass Verzerrungen minimiert werden. Dabei handelt es sich bei dem Überblicksbild mit der höchsten Bildqualität gemäß einer Ausführung, um dasjenige Überblicksbild, in welchem ein bestimmtes Objekt innerhalb des Überlagerungsbereichs am größten dargestellt ist. Gemäß einer weiteren Ausführung handelt es sich bei dem Überblicksbild mit der höchsten Bildqualität, um dasjenige Überblicksbild, bei dem der Betrag der Änderung des Neigungswinkels eines bestimmten Objektes im Überlagerungsbereich vor und nach der Umwandlung des Blickwinkels am geringsten ist.
[0004] Aus der DE 10296593 T5 ist es bekannt, dass beim Überlagern mehrerer Teilbilder mit unterschiedlicher Perspektive zu einem Gesamtbild Verzerrungen entstehen. Dies wird am Beispiel von Bildaufnahmen eines geparkten Fahrzeugs gezeigt, welches mittels einer Rückseitenkamera und einer über dem Fahrzeug angeordneten virtuellen Kamera erfasst wird. Dabei sind für die Umwandlung zu einem Gesamtbild nur diejenigen Blickpunkte geeignet, welche sich auf dem dreidimensionalen Fahrboden befinden, die darüber befindlichen Objekte werden im Gesamtbild verzerrt dargestellt. Mit der vorgestellten Vorrichtung zur Fahrerunterstützung wird daher ein erfasstes Umgebungsbild zunächst in ein Bild gewandelt, welches von einem virtuellen Blickpunkt oberhalb der Bildaufnahmeeinrichtung gesehen wird oder ein Bild, das von oben orthogonal projiziert wird, auf der Basis eines Straßenoberflächenmodells . Anschließend werden dreidimensionale Informationen, welche andere als jene auf der Straßenoberfläche sind, auf der Basis einer Parallaxe zwischen Bildern detektiert. Auf der Grundlage der detektierten dreidimensionalen Informationen werden sodann Verzerrungskorrekturen durchgeführt .
[0005] Der Erfindung liegt die Aufgabe zu Grunde ein Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive zu schaffen, welches einen geringen Verarbeitungsaufwand erfordert und eine zuverlässige Wiedergabe von Bildinformationen ermöglicht.
[0006] Die Aufgabe wird gemäß der Erfindung durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen werden in den Unteransprüchen aufgezeigt.
[0007] Gemäß der Erfindung wird ein Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive vorgeschlagen. Es werden dabei wenigstens zwei Bildaufnahmen von sich überlappenden oder aneinander angrenzenden Umgebungsbereichen aus unterschiedlichen Bildaufnahmepositionen erfasst . Die wenigstens zwei Bildaufnahmen werden sodann in die Vogelperspektive transformiert und Bildausschnitte der transformierten Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive zusammenfügt. Die Bildausschnitte sind dabei derart gewählt, dass durch bewegte Objekte hervorgerufene Abschattungen beim Übergang von einem ersten Bildausschnitt in einen zweiten Bildausschnitt im Gesamtbild im Wesentlichen in dieselbe Richtung auf eine zuvor definierte Referenzfläche projiziert werden. Bei einem geringen Verarbeitungsaufwand wird es mit der Erfindung hierdurch möglich, Bildinformationen auf zuverlässige Weise wiederzugeben. Dabei sind in einer besonders gewinnbringenden Weise selbst erhabene Objekte, welche sich bewegen und zwischen den wenigstens beiden Bildausschnitten wechseln, zu jeder Zeit im Gesamtbild in der Vogelperspektive sichtbar. Dies wäre sonst nicht zwingend der Fall, da im Übergangsbereich zwischen den Bildausschnitten im Gesamtbild aufgrund von Skalierungseffekten Sprungstellen auftreten können, wobei in diesem Übergangsbereich befindliche Objekte dann zumindest zeitweise nicht sichtbar sind. Die Erklärung hierfür ist, dass ein Objekt welches aus zwei unterschiedlichen Aufnahmepositionen erfasst wird und sich zwischen diesen beiden Aufnahmepositionen befindet in den dazugehörigen Bildaufnahmen in unterschiedlichen Perspektiven zu sehen ist. Aufgrund dieser unterschiedlichen Perspektiven kommt es beim Zusammensetzen der einzelnen Bildausschnitte zu einem Gesamtbild in der Vogelperspektive am Übergangsbereich zwischen den zwei Bildausschnitten im Gesamtbild in der Vogelperspektive zu Unterschieden bei der Skalierung, weshalb erhabene Objekte im Übergangsbereich verzerrt dargestellt sind oder sogar überhaupt nicht sichtbar sind. Es wird daher bei der Transformation in die Vogelperspektive eine Referenzebene definiert, wobei diejenigen Objekte welche sich innerhalb der Referenzebene befinden immer sichtbar sind und nicht verzerrt dargestellt werden. Dagegen werden Objekte, welche sich über der Referenzebene befinden verzerrt dargestellt. Die Verzerrungen nehmen dabei mit zunehmendem Abstand eines Objektes von der Referenzebene zu. Falls das Objekt eine Höhe aufweist und aus der Referenzebene herausragt, ist das Objekt beim Übergang von einem ersten Bildausschnitt in einen zweiten Bildausschnitt im Gesamtbild zumindest kurzzeitig nicht sichtbar. Die Zeitdauer in welcher ein Objekt beim Übergang nicht sichtbar ist, nimmt dabei mit zunehmendem Abstand der Aufnahmepositionen bzw. mit zunehmendem Unterschied der Perspektiven im Übergangsbereich zu. Dass Objekte beim Übergang zwischen benachbarten Bildausschnitten nicht sichtbar sind wird mit dem erfindungsgemäßen Verfahren verhindert, indem die Bildausschnitte so gewählt werden, dass durch bewegte Objekte hervorgerufene Abschattungen beim Übergang im Gesamtbild von einem ersten Bildausschnitt in einen zweiten Bildausschnitt im Wesentlichen in dieselbe Richtung auf die zuvor definierte Referenzfläche projiziert werden. Dadurch werden Objekte beim Übergang zwischen Bildausschnitten im Gesamtbild zwar mit unterschiedlicher Skalierung dargestellt, jedoch sind die Objekte zu jeder Zeit sichtbar. Ein Nutzer wird somit beim Einsatz des erfindungsgemäßen Verfahrens mit hoher Sicherheit über das Vorhandensein von Objekten informiert, wofür weder eine aufwendige 3D-Bilddatenauswertung noch eine Objektnachverfolgung, sogenanntes Tracking, benötigt wird.
[0008] Die aus unterschiedlichen Aufnahmepositionen erfassten Bildinformationen werden in die Vogelperspektive transformiert, indem diese zunächst auf eine zuvor definierte Referenzfläche projiziert werden. Anschließend werden Bilder der projizierten Bildinformationen aus einer virtuellen Position, welche sich oberhalb der Referenzfläche befindet, vorzugsweise mittels eines Lochkameramodells aus der Vogelperspektive erfasst . In einer besonders vorteilhaften Weise der Erfindung handelt es sich bei der Referenzfläche dabei um diejenige Ebene oder eine parallele Ebene zu derjenigen Ebene, welche die Bodenfläche über der sich die Bildaufnahmepositionen befinden approximiert. Durch Variation des Abstandes der virtuellen Kameraposition und der Referenzebene kann die Skalierung im Gesamtbild in der Vogelperspektive angepasst werden.
[0009] Im Rahmen der Erfindung werden einzelne Bildaufnahmen oder einzelne Bildausschnitte üblicherweise unabhängig voneinander in die Vogelperspektive transformiert. Dabei besteht die Möglichkeit, dass die aus unterschiedlichen Aufnahmepositionen erfassten Bildaufnahmen vollständig in die Vogelperspektive transformiert werden, wobei anhand der transformierten Bildaufnahmen sodann geeignete Bildausschnitte für eine Darstellung oder zur weiteren Verarbeitung ausgewählt werden. Alternativ dazu besteht aber auch die Möglichkeit, dass in einer weiteren vorteilhaften Weise der Erfindung die wenigstens zwei Bildausschnitte bereits vor der Transformation in die Vogelperspektive ausgewählt werden. Hierdurch wird in vorteilhafter Weise die Menge der zu transformierenden Bilddaten verringert, wodurch der Verarbeitungsaufwand deutlich reduziert wird.
[00010] Auch ist es von Vorteil, falls das Flächenverhältnis der wenigstens zwei Bildaufnahmen und/oder Bildausschnitte unterschiedlich ist. Selbst wenn die wenigstens beiden Bildaufnahmen aufgrund des/der eingesetzten Bildsensoren dieselbe Größe besitzen, ist es sinnvoll, dass die Größe der Bildaufnahmen oder Bildausschnitte derart angepasst werden, sodass diese unterschiedlich große Flächen aufweisen. Hierdurch ergibt sich bei der Transformation in die Vogelperspektive für den Nutzer eine intuitiv besser eingängige Darstellung. Bei einer bevorzugten Ausgestaltung der Erfindung wird die Transformation vorzugsweise derart durchgeführt, dass im Gesamtbild in etwa % der Bildanteile von einer Bildaufnahme aus einer ersten Bildaufnahmeposition und in etwa 1A der Bildanteile von einer weiteren Bildaufnahme aus einer zweiten Bildaufnahmeposition stammen. Somit beträgt das Flächenverhältnis der wenigstens zwei Bildausschnitte im Gesamtbild in etwa 3:4. Der Übergang zwischen den beiden Bildausschnitten erfolgt hierbei vorzugsweise nicht entlang einer Grenzlinie, welche vertikal in der Mitte des Gesamtbildes verläuft, sondern vorzugsweise entlang einer Grenzlinie, welche asymmetrisch zwischen den Bildausschnitten im Gesamtbild verläuft. Dabei muss es sich bei der Grenzlinie nicht zwangsweise um eine Gerade handeln, es kann sich bei der Grenzlinie dabei z.B. in Abhängigkeit der Anordnung der Bildsensorik und/oder deren Bauform auch um eine Kurve handeln.
[0011] Bei einer besonders bevorzugten Ausführungsform werden, bei der Transformation der Bildaufnahmen in eine Vogelperspektive Verweistabellen, sogenannte Lookup-Tabellen, herangezogen. Hierzu ist eine Beschreibung der Beziehungen zwischen einer Bildaufnahme und einem in die Vogelperspektive transformierten Bild im Speicher in einer Datenstruktur hinterlegt. Bei der Transformation werden deshalb komplizierte und aufwendige Laufzeitprobleme durch einfachen Zugriff auf diese Datenstruktur ersetzt. Diese Maßnahme führt in einer gewinnbringenden Weise zu einer erheblichen Reduzierung des Verarbeitungsaufwandes .
[0012] Für einen Einsatz bei dem erfindungsgemäßen Verfahren eignen sich vorzugsweise Bildsensoren, wie z.B. CCD- oder CMOS-Sensoren, welche sowohl im sichtbaren als auch im nichtssichtbaren Wellenlängenspektrum empfindlich sein können. Im Zusammenhang mit der Erfindung handelt es sich bei den Bildaufnahmen dabei um Bildaufnahmen kalibrierter Bildsensoren. Falls die Bildsensoren bei ihrem Einsatz fest angeordnet sind und sich die wenigstens zwei Bildaufnahmepositionen und/oder die Sensororientierungen nicht ändern, ist in vorteilhafter Weise eine einmalige Kalibrierung des/der Bildensor (en) vollkommen ausreichend. Falls sich jedoch die Bildaufnahmepositionen und/oder Sensororientierungen ändern ist jedoch eine erneute Kalibrierung erforderlich. Dem Fachmann auf dem Gebiet der Bildverarbeitung sind hierzu etliche Verfahren zur Kamerakalibrierung aus dem Stand der Technik bereits bekannt.
[0013] Besonders vorteilhaft ist es, falls die Bildaufnahmen mittels omnidirektionaler Kameras erfasst werden. Derartige Kameras sind aus dem Stand der Technik bereits bekannt, diese umfassen im Wesentlichen einen Kamerachip und einen Spiegel. Damit ist es möglich, mit einer einzigen Bildaufnahme Umgebungsbereiche von bis zu 360° zu erfassen. Im Zusammenhang mit der Erfindung werden bei der Verwendung mehrerer omnidirektionaler Kameras, diese auf eine Referenzebene in einem gemeinsamen Koordinatensystem kalibriert .
[0014] In einer besonders gewinnbringenden Weise wird das erfindungsgemäße Verfahren zur Umgebungserfassung an einem Kraftfahrzeug eingesetzt. Damit der Fahrer Hindernisse oder andere Verkehrsteilnehmer nicht übersieht, wird ein Gesamtbild der Fahrzeugumgebung in der Vogelperspektive auf einem Display im Fahrzeuginnenraum dargestellt. Dabei kann die Fahrzeugumgebung durch eine geeignete Auswahl von Bildausschnitten dem Fahrer intuitiv und besser eingehend dargestellt werden. Die Darstellung der Fahrzeugumgebung erfolgt dabei vorzugsweise lückenlos. Dabei werden alle Totwinkelbereiche um das Fahrzeug mit erfasst, auch diejenigen, welche der Fahrer mit den Fahrzeugspiegeln sonst nicht einsehen könnte. In der Praxis hat sich gezeigt, dass in den Totwinkelbereichen eines Fahrzeugs sogar ganze Fahrzeuge oder Personen „verschwinden" können. Erst durch die Darstellung in einer lückenlosen Vogelperspektive werden dem Fahrer beim Einsatz des erfindungsgemäßen Verfahrens auch die in den Totwinkelbereichen enthaltenen Objekte auf eine zuverlässige Weise dargestellt. Selbst wenn diese erhaben sind und sich bewegen kommt es dabei an den Übergangsstellen einzelner Bildausschnitte im Gesamtbild zu keinen Sprungstellen aufgrund der Perspektive, sondern lediglich zu Verzerrungen, weshalb Objekte in diesen Bereichen im Gesamtbild jederzeit vollständig sichtbar sind. Objekte können dabei in einer optischen Anzeige farblich hervorgehoben und im Falle einer drohenden Kollision z.B. blinkend dargestellt sein, sodass der Fahrer die Objekte auf zuverlässige Weise erfassen kann. Neben optischen Anzeigen eignen sich z.B. aber auch akustische Warnsignale. Mit einer geeigneten Soundanlage können akustische Warnsignale auch richtungsabhängig ausgegeben werden. Auch besteht die Möglichkeit die mit dem Verfahren gewonnenen Ergebnisse über das Vorhandensein von Objekten weiter zu verarbeiten und damit z.B. Steuersignale für einen automatischen Eingriff in die Fahrdynamik zu generieren und somit Kollisionen zu vermeiden. Neben einem Einsatz bei Pkws eignet sich das Verfahren beispielsweise auch für den Einsatz bei LKWs, Omnibussen oder Baufahrzeugen, insbesondere da der Fahrer hierbei aufgrund des Fahrzeugaufbaus häufig einen schlechten Einblick in die Fahrzeugumgebung hat. Der Fahrer kann durch den Einsatz des Verfahrens z.B. beim Einparken, Abbiegen an Verkehrskreuzungen oder beim Rangieren in vorteilhafter Weise unterstützt werden. Eine ideale Position für die Anordnung von Bildsensoren an einem Fahrzeug sind vor allem Positionen in der Nähe der Fahrzeugspiegel. Beispielsweise wird lediglich jeweils eine omnidirektionale Kamera an den vorderen äußeren Ecken eines Fahrzeugs benötigt, um sowohl den Totwinkelbereich vor der Fahrzeugfront als auch die Totwinkelbereiche auf beiden Seiten des Fahrzeugs zu erfassen.
[0015] Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung von bevorzugten Ausführungsbeispielen anhand der Figuren. Dabei zeigen:
Fig. 1 eine Umgebungserfassung aus 2 Aufnahmepositionen, mit Abschattungen in unterschiedliche Richtungen
Fig. 2 eine Umgebungserfassung aus 2 Aufnahmepositionen, mit Abschattungen in derselben Richtung
[0016] Figur 1 zeigt beispielhaft eine Umgebungserfassung anhand von zwei Aufnahmepositionen mit Abschattungen in unterschiedlichen Richtungen. Es handelt sich hierbei um ein Straßenfahrzeug (1) in der Vogelperspektive, welches an den äußeren Ecken der Fahrzeugfront mit jeweils einer omnidirektionalen Kamera (2,3) ausgestattet ist. Hierbei wurde eine Grenzlinie (4) zur Festlegung von Bildausschnitten
(7,8) derart gewählt, sodass durch Objekte hervorgerufene Abschattungen (5,6) in unterschiedlichen Richtungen auf eine Referenzebene projiziert werden. Bei der Beschreibung der Ausführungsbeispiele wird im Folgenden davon ausgegangen, dass sich die Referenzebene in der Zeichenebene befindet . Objekte welche sich links von der Grenzlinie (4) im Bildausschnitt (7) befinden werden mittels der omnidirektionalen Kamera (2) und Objekte, welche sich rechts von der Grenzlinie (4) im Bildausschnitt (8) befinden mittels der omnidirektionalen Kamera (3) erfasst . Beim Übergang eines Objekts zwischen den Bildausschnitten (7,8) kann es an der Grenzlinie (4) in Abhängigkeit von der Objekthöhe neben Verzerrungen auch zu Sprungstellen kommen. Objekte die sich in der Referenzebene befinden, werden in den Bildausschnitten (7,8) an denselben Positionen im Bild projiziert. Dagegen werden Objekte, welche sich außerhalb der Referenzebene befinden in den Bildausschnitten (7,8) an unterschiedlichen Stellen projiziert. Daher sind erhabene Objekte im Bereich der Grenzlinie (4) nicht sichtbar. Aufgrund der Anordnung der omnidirektionalen Kameras (2,3), welche gleich große Bildausschnitte (7,8) im Gesamtbild liefern, werden Objekte im Bereich der Grenzlinie (4) aus unterschiedlichen Perspektiven gesehen und durch diese Objekte hervorgerufene Abschattungen (5,6) werden in der Referenzebene in unterschiedliche Richtungen projiziert. Ein Objekt, welches sich im Bereich der Grenzlinie (4) befindet und mittels der omnidirektionalen Kamera (2) erfasst wird, verursacht in der Referenzebene eine Abschattung (5) , welche im Gesamtbild in der Vogelperspektive nach rechts orientiert ist. Wird dagegen dasselbe Objekt mittels der omnidirektionalen Kamera (3) erfasst, so entsteht in der Referenzebene eine Abschattung (6) , welche im Gesamtbild in der Vogelperspektive nach links orientiert ist .
[0017] Figur 2 zeigt beispielhaft eine Umgebungserfassung anhand von zwei Aufnahmepositionen mit Abschattungen in etwa derselben Richtung. Im Gegensatz zu der in der Figur 1 gezeigten Situation ist hierbei die Grenzlinie (4) zur Auswahl von Bildausschnitten (7,8) derart gewählt, sodass durch Objekte hervorgerufene Abschattungen (5,6) im Wesentlichen in dieselbe Richtung auf die Referenzfläche projiziert werden. Die Grenzlinie (4) verläuft im Gesamtbild in der Vogelperspektive von der omnidirektionalen Kamera (3) aus gesehen durch die Position an der die omnidirektionale Kamera (2) verbaut ist. Mit der omnidirektionalen Kamera (3) wird dabei der dem Fahrzeug (1) vorausliegende Umgebungsbereich erfasst und im Gesamtbild als Bildausschnitt (7), welcher sich oberhalb der Grenzlinie (4) befindet, dargestellt. Mit der omnidirektionalen Kamera (2) wird der Bereich links neben dem Fahrzeug (1) erfasst und im Gesamtbild als Bildausschnitt (8) , welcher sich unterhalb der Grenzlinie (4) befindet, dargestellt. Durch die Auswahl einer derart verlaufenden Grenzlinie (4) werden die durch ein Objekt hervorgerufenen Abschattungen (5,6) im Gesamtbild im Bereich der Grenzlinie (4) zwar unterschiedlich skaliert, jedoch sind die Abschattungen unabhängig von der Objekthöhe zu jeder Zeit im Gesamtbild sichtbar. In vorteilhafter Weise wurde der Verlauf der Grenzlinie (4) derart gewählt, sodass sich der Übergang zwischen den Bildausschnitten (7,8) bei einem Linkslenker auf der Fahrerseite befindet. Somit werden die größeren Totwinkelbereiche auf der rechten Seite des Fahrzeugs (1) mit der omnidirektionalen Kamera (3) erfasst, wobei kein Übergang zwischen Bildausschnitten auf dieser Seite vorhanden ist. Gleichsam ist es aber auch möglich, den Übergang anhand der Grenzlinie (4) auf die rechte Seite des Fahrzeugs (1) zu legen. Weiterhin ist es nicht notwendig, dass die Grenzlinie (4) horizontal im Gesamtbild verläuft. Es ist auch ein diagonaler Verlauf der Grenzlinie (4) denkbar, wobei sichergestellt sein muss, dass durch bewegte Objekte hervorgerufene Abschattungen (5,6) beim Übergang im Gesamtbild von einem ersten Bildausschnitt (7,8) in einen zweiten Bildausschnitt (8,7) im Wesentlichen in dieselbe Richtung auf eine zuvor definierte Referenzfläche projiziert werden. Bezugszeichenliste
1 Fahrzeug
2,3 Omnidirektionale Kameras
4 Grenzlinie
5,6 Abschattung
7,8 Bildausschnitt

Claims

Patentansprüche
1. Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive, wobei wenigstens zwei Bildaufnahmen von sich überlappenden oder aneinander angrenzenden Umgebungsbereichen aus unterschiedlichen Bildaufnahmepositionen erfasst werden, wobei die wenigstens zwei Bildaufnahmen in die Vogelperspektive transformiert werden, wobei Bildausschnitte (7,8) der transformierten Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive zusammenfügt werden und wobei die Bildausschnitte (7,8) dabei derart gewählt sind, dass durch bewegte Objekte hervorgerufene Abschattungen (5,6) beim Übergang im Gesamtbild von einem ersten Bildausschnitt (7,8) in einen zweiten Bildausschnitt (8,7) in dieselbe Richtung auf eine zuvor definierte Referenzfläche projiziert werden.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass es sich bei die Referenzfläche um diejenige Ebene oder eine parallele Ebene zu derjenigen Ebene handelt, welche die Bodenfläche über der sich die Bildaufnahme- Positionen befinden approximiert.
3. Verfahren nach einem der vorstehenden Ansprüche dadurch gekennzeichnet, dass die wenigstens zwei Bildausschnitte (7,8) bereits vor der Transformation in die Vogelperspektive ausgewählt werden.
4. Verfahren nach einem der vorstehenden Ansprüche dadurch gekennzeichnet, dass das Flächenverhältnis der wenigstens zwei Bildaufnahmen und/oder Bildausschnitte (7,8) unterschiedlich ist .
5. Verfahren nach Anspruch 4 , dadurch gekennzeichnet, dass das Flächenverhältnis 3:4 beträgt.
6. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass eine Grenzlinie (4) zwischen den Bildausschnitten im Gesamtbild asymmetrisch verläuft.
7. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass bei der Transformation der Bildaufnahmen in eine Vogelperspektive Verweistabellen herangezogen werden.
8. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei den Bildaufnahmen um Bildaufnahmen kalibrierter Bildsensoren handelt.
9. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Bildaufnahmen mittels omnidirektionaler Kameras (2,3) erfasst werden.
10. Verwendung des Verfahrens nach einem der Ansprüche 1 bis 9 zur Umgebungserfassung an einem Kraftfahrzeug (1) .
PCT/EP2007/000231 2006-01-24 2007-01-12 Verfahren zum zusammenfügen mehrerer bildaufnahmen zu einem gesamtbild in der vogelperspektive WO2007087975A2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008551689A JP2009524171A (ja) 2006-01-24 2007-01-12 複数の画像を結合して鳥瞰図画像にする方法
US12/161,925 US20090022423A1 (en) 2006-01-24 2007-01-12 Method for combining several images to a full image in the bird's eye view

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006003538A DE102006003538B3 (de) 2006-01-24 2006-01-24 Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
DE102006003538.0 2006-01-24

Publications (2)

Publication Number Publication Date
WO2007087975A2 true WO2007087975A2 (de) 2007-08-09
WO2007087975A3 WO2007087975A3 (de) 2007-12-21

Family

ID=38190247

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2007/000231 WO2007087975A2 (de) 2006-01-24 2007-01-12 Verfahren zum zusammenfügen mehrerer bildaufnahmen zu einem gesamtbild in der vogelperspektive

Country Status (4)

Country Link
US (1) US20090022423A1 (de)
JP (1) JP2009524171A (de)
DE (1) DE102006003538B3 (de)
WO (1) WO2007087975A2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100214412A1 (en) * 2007-10-16 2010-08-26 Daimler Ag Method for calibrating an assembly using at least one omnidirectional camera and an optical display unit
WO2010119734A1 (ja) * 2009-04-17 2010-10-21 三洋電機株式会社 画像処理装置

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006052779A1 (de) * 2006-11-09 2008-05-15 Bayerische Motoren Werke Ag Verfahren zur Erzeugung eines Gesamtbilds der Umgebung eines Kraftfahrzeugs
JP5108605B2 (ja) * 2008-04-23 2012-12-26 三洋電機株式会社 運転支援システム及び車両
DE102008035428B4 (de) 2008-07-30 2010-11-18 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
US8416300B2 (en) * 2009-05-20 2013-04-09 International Business Machines Corporation Traffic system for enhancing driver visibility
DE102009036200A1 (de) * 2009-08-05 2010-05-06 Daimler Ag Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
EP2482557B1 (de) * 2009-09-24 2020-03-18 Panasonic Intellectual Property Management Co., Ltd. Fahrhilfen-anzeigevorrichtung
JP4952765B2 (ja) * 2009-10-21 2012-06-13 トヨタ自動車株式会社 車両用夜間視界支援装置
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
DE102011077143A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Fahrzeugkamerasystem und Verfahren zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung
DE102011088332B4 (de) 2011-12-13 2021-09-02 Robert Bosch Gmbh Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen
DE102012215026A1 (de) * 2012-08-23 2014-05-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
KR101498976B1 (ko) 2013-12-19 2015-03-05 현대모비스(주) 차량용 주차지원시스템 및 주차지원방법
US20150286878A1 (en) 2014-04-08 2015-10-08 Bendix Commercial Vehicle Systems Llc Generating an Image of the Surroundings of an Articulated Vehicle
DE102014213536A1 (de) 2014-07-11 2016-01-14 Bayerische Motoren Werke Aktiengesellschaft Zusammenfügen von Teilbildern zu einem Abbild einer Umgebung eines Fortbewegungsmittels
KR101596751B1 (ko) * 2014-09-26 2016-02-23 현대자동차주식회사 운전자 맞춤형 사각 영역 표시 방법 및 장치
DE102014220324A1 (de) * 2014-10-07 2016-06-30 Continental Automotive Gmbh Head-up-Display zur Überwachung eines Verkehrsraums
US10189405B2 (en) * 2015-01-14 2019-01-29 Yazaki North America, Inc. Vehicular multi-purpose warning head-up display
DE102015010009A1 (de) 2015-08-05 2017-02-09 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
DE102015010011B4 (de) 2015-08-05 2020-03-19 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zur Anzeige der Umgebung einer selbstfahrenden Baumaschine
DE102015121952A1 (de) * 2015-12-16 2017-06-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016117518A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug
JP6910454B2 (ja) * 2016-10-26 2021-07-28 コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ 道路の合成トップビュー画像を生成するための方法およびシステム
KR101992917B1 (ko) * 2016-11-30 2019-06-25 엘지디스플레이 주식회사 표시 장치용 기판과, 그를 포함하는 유기 발광 표시 장치 및 그 제조 방법
DE102016225073A1 (de) * 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung
JPWO2020105698A1 (ja) * 2018-11-22 2021-10-21 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、カメラシステム及び画像処理方法
KR102473404B1 (ko) * 2020-02-25 2022-12-02 삼성전기주식회사 탑뷰 제공 장치
US11680387B1 (en) 2022-04-21 2023-06-20 Deere & Company Work vehicle having multi-purpose camera for selective monitoring of an area of interest

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030021490A1 (en) * 2000-07-19 2003-01-30 Shusaku Okamoto Monitoring system
EP1302365A2 (de) * 2001-10-15 2003-04-16 Matsushita Electric Industrial Co., Ltd. Vorrichtung zum Überwachen der Umgebung eines Fahrzeuges und Verfahren zur Einstellung derselben

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1050866B1 (de) * 1999-04-28 2003-07-09 Matsushita Electric Industrial Co., Ltd. Einparkhilfe-Assistenz-Vorrichtung
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
US6734896B2 (en) * 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
DE10035223A1 (de) * 2000-07-20 2002-01-31 Daimler Chrysler Ag Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP3652678B2 (ja) * 2001-10-15 2005-05-25 松下電器産業株式会社 車両周囲監視装置およびその調整方法
JP3744002B2 (ja) * 2002-10-04 2006-02-08 ソニー株式会社 表示装置、撮像装置、および撮像／表示システム
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030021490A1 (en) * 2000-07-19 2003-01-30 Shusaku Okamoto Monitoring system
EP1302365A2 (de) * 2001-10-15 2003-04-16 Matsushita Electric Industrial Co., Ltd. Vorrichtung zum Überwachen der Umgebung eines Fahrzeuges und Verfahren zur Einstellung derselben

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OKAMOTO ET AL: "Development of Parking Assistance System Using Virtual Viewpoint Image Synthesis" ITS WORLD CONGRESS, XX, XX, November 2000 (2000-11), Seiten 1-8, XP002418339 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100214412A1 (en) * 2007-10-16 2010-08-26 Daimler Ag Method for calibrating an assembly using at least one omnidirectional camera and an optical display unit
US8599258B2 (en) * 2007-10-16 2013-12-03 Daimler Ag Method for calibrating an assembly using at least one omnidirectional camera and an optical display unit
WO2010119734A1 (ja) * 2009-04-17 2010-10-21 三洋電機株式会社 画像処理装置

Also Published As

Publication number Publication date
US20090022423A1 (en) 2009-01-22
WO2007087975A3 (de) 2007-12-21
JP2009524171A (ja) 2009-06-25
DE102006003538B3 (de) 2007-07-19

Similar Documents

Publication Publication Date Title
DE102006003538B3 (de) Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
EP3501897B1 (de) Sichtsystem zur erfassung einer fahrzeugumgebung
EP3328686B1 (de) Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns
DE102008031784B4 (de) Verfahren und Vorrichtung zur Verzerrungskorrektur und Bildverbesserung eines Fahrzeugrückblicksystems
DE10296593B4 (de) Fahrunterstützungsvorrichtung
DE102012102508B4 (de) Justierverfahren und System einer intelligenten Fahrzeugbildgebungsvorrichtung
DE102012025322B4 (de) Kraftfahrzeug mit Kamera-Monitor-System
DE102010035772B4 (de) System und Verfahren zum Liefern von Leitinformation für einen Fahrer eines Fahrzeugs
WO2013107548A1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
DE102007059735A1 (de) Stereo-Sichtsystem für Fahrzeuge zur Erkennung seitlich liegender Hindernisse
WO2016005232A1 (de) Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
DE112010005565T5 (de) Einparkunterstützungsvorrichtung, Einparkunterstützungssystem und Einparkunterstützungskameraeinheit
DE102014205078A1 (de) System zur Betrachtung eines Bordsteines in einem vorderen Bereich auf Basis von zwei Kameras
EP3053133A1 (de) Verfahren und vorrichtung zur anzeige der umgebung eines fahrzeugs und fahrerassistenzsystem
DE102012203491A1 (de) Elektronisches Rückspiegel-System
EP2559236A1 (de) Verfahren zum anzeigen eines bildes auf einer anzeigeeinrichtung in einem fahrzeug, fahrerassistenzsystem und fahrzeug
WO2009049750A2 (de) Verfahren zum kalibrieren einer anordnung mit mindestens einer omnidirektionalen kamera und einer optischen anzeigeeinheit
WO2011039129A1 (de) Verfahren und vorrichtung zur kombinierten visuellen anzeige von video- und abstandsdaten einer verkehrssituation
WO2019134845A1 (de) Spiegelersatzsystem sowie verfahren zur darstellung von bild- und/oder videodaten der umgebung eines kraftfahrzeugs
DE102011014368A1 (de) Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem
DE102007016055A1 (de) Fahrzeugumgebungsüberwachungsvorrichtung und Fahrzeugumgebungsüberwachungs-Videoanzeigeverfahren
DE102013214369A1 (de) Verfahren und Vorrichtung zur Wiedergabe eines Umgebungsbereichs eines Fahrzeugs
DE102016217037B4 (de) Verfahren zum Betreiben einer Anzeigeeinrichtung eines Kraftfahrzeugs mit einer digitalen Anzeigefläche und Kraftfahrzeug
EP3695387A1 (de) Verfahren zur darstellung von bildern eines kamerasystems eines fahrzeugs
DE102017114611A1 (de) Verfahren zum Erzeugen zumindest eines fusionierten perspektivischen Bildes eines Kraftfahrzeugs und eines Umgebungsbereiches des Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2008551689

Country of ref document: JP

Ref document number: 12161925

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07711340

Country of ref document: EP

Kind code of ref document: A2