DE102009035422B4 - Verfahren zur geometrischen Bildtransformation - Google Patents

Verfahren zur geometrischen Bildtransformation Download PDF

Info

Publication number
DE102009035422B4
DE102009035422B4 DE102009035422.0A DE102009035422A DE102009035422B4 DE 102009035422 B4 DE102009035422 B4 DE 102009035422B4 DE 102009035422 A DE102009035422 A DE 102009035422A DE 102009035422 B4 DE102009035422 B4 DE 102009035422B4
Authority
DE
Germany
Prior art keywords
image
motor vehicle
perspective
virtual
image recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102009035422.0A
Other languages
English (en)
Other versions
DE102009035422A1 (de
Inventor
Alexander Augst
Dr. Wahl Eric
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102009035422.0A priority Critical patent/DE102009035422B4/de
Publication of DE102009035422A1 publication Critical patent/DE102009035422A1/de
Application granted granted Critical
Publication of DE102009035422B4 publication Critical patent/DE102009035422B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

Verfahren zur geometrischen Transformation der Bilder einer von einer bildgebenden Einrichtung eines Kraftfahrzeugs erzeugten Bildfolge, umfassend die jeweils wiederholt durchgeführten Schritte:- Erzeugen eines zumindest Teile der Fahrzeugumgebung darstellenden Quellbilds durch die bildgebende Einrichtung,- Detektion eines Objekts in der Umgebung des Kraftfahrzeugs durch Abstandssensoren des Kraftfahrzeugs,- Bestimmen eines Abstands des Kraftfahrzeugs zu dem Objekt,- Bestimmen einer gewünschten virtuellen Bildaufnahmeperspektive in Abhängigkeit von dem Abstand, wobei die Bildaufnahmeperspektive in Abhängigkeit von dem Abstand entlang einer relativ zum Kraftfahrzeug festgelegten Raumbahn verschoben wird,- geometrisches Transformieren des Quellbilds in ein virtuelles, scheinbar aus der virtuellen Bildaufnahmeperspektive aufgenommenes Ergebnisbild.

Description

  • Die Erfindung betrifft ein Verfahren zur geometrischen Transformation der Bilder einer von einer bildgebenden Einrichtung eines Kraftfahrzeugs erzeugten Bildfolge.
  • Aus dem Stand der Technik sind verschiedenste Verfahren und Technologien zur geometrischen Transformatieren von Bildfolgen bzw. Videobildern bekannt, insbesondere das Ausschneiden eines bestimmten Bereiches aus einem Videobild (Windowing), das elektronische Zoomen bzw. Stretchen eines Videobildes und/oder das Verschieben der realen bzw. physikalischen Bildaufnahmeperspektive in eine virtuelle Bildaufnahmeperspektive.
  • So genannte Topview- oder Birdview-Darstellungen der Umgebung von Kraftfahrzeugen als Ergebnis geometrischer Bildtransformationen sind in der Literatur, insbesondere im Zusammenhang mit Einparkhilfen, bereits mehrfach beschrieben worden.
  • Einen Beleg der praktischen Realisierbarkeit solcher Bildtransformationen in so genannte virtuelle Perspektiven stellt beispielsweise die so genannte Topview- oder Birdview-Funktion dar, die für ausgewählte Fahrzeugmodelle der Anmelderin bereits marktverfügbar ist. Im Rahmen dieser Funktion wird dem Fahrer über eine Anzeigeeinheit im Fahrzeuginneren ein virtuelles Bild dargestellt. Die Quelldaten für dieses Bild werden durch Kameras in den Seitenspiegeln des Kraftfahrzeugs erfasst. Das virtuelle Bild, das dem Fahrer nach entsprechender geometrischer Transformation dargestellt wird, ist jedoch scheinbar aus einer virtuellen Bildaufnahmeperspektive einige Meter (ca. 3 Meter) oberhalb des Fahrzeugs aufgenommen.
  • Eine virtuelle Bildaufnahmeperspektive wird in der Regel dadurch realisiert, dass Pixelwerte des virtuellen Ergebnisbildes derart aus Pixelwerten des Ursprungs- bzw. Quellbildes ermittelt werden, dass das Ergebnisbild im Wesentlichen wie aus einer anderen Bildaufnahmeperspektive aufgenommen erscheint. Im einfachsten Fall kann hierzu die Position von Pixeln eines Bildes z.B. mittels einer mathematischen Funktion, z.B. affine oder nicht affine Bildtransformation oder mittels einer Look-up-Tabelle verschoben werden. Dabei werden die geometrischen Verhältnisse bezogen auf die reale bzw. physikalische Position der bildgebenden Einrichtung (z.B. Kamera) berücksichtigt und neue geometrische Verhältnisse (wie diese bei einer Aufnahme aus der virtuellen Bildaufnahmeperspektive bestehen würden) ermittelt.
  • Bekannte Verfahren zur Nutzung virtueller Perspektiven in der Überwachung der Umgebung eines Kraftfahrzeugs und/oder zur Nutzung virtueller Perspektiven bei der Darstellung von Bildern der Fahrzeugumgebung im Fahrzeuginneren weisen oft noch Nachteile auf, insbesondere bei der Darstellung komplexer dreidimensionaler Objektkonstellationen. Diese Nachteile können dazu führen, dass Objektteile oder ganze Objekte in der Fahrzeugumgebung nicht im virtuellen Ergebnisbild enthalten sind. Dies wiederum kann ein Übersehen solcher Objektteile oder Objekte durch den Fahrzeugführer bedingen und die Gefahr von Unfällen erhöhen.
  • Das Dokument US 2008 / 0 231 702 A1 offenbart ein Fahrzeug-Außenanzeigesystem für ein Fahrzeug. Das System weist eine Kamera auf, die einen fotografierten Bereich außerhalb des Fahrzeugs fotografiert und ein fotografiertes Bild als ein Fotografie-Ergebnis ausgibt. Ferner weist das System einen ersten Hindernissensor auf, der ein Hindernis in einem ersten Erfassungsbereich erfasst, der in dem fotografierten Bereich beinhaltet ist. Und das System weist einen zweiten Hindernissensor auf, der ein Hindernis in einem zweiten Erfassungsbereich erfasst, der in dem fotografierten Bereich beinhaltet ist und sich von dem ersten Erfassungsbereich unterscheidet. Eine Bildanzeigevorrichtung zeigt ein Bild an und eine Anzeigesteuerungsvorrichtung wendet eine Verarbeitung auf das fotografierte Bild an, das von der Kamera ausgegeben wird, um dadurch ein verarbeitetes Bild nach der Verarbeitung zu erzeugen und das verarbeitete Bild auf der Bildanzeigevorrichtung anzuzeigen.
  • Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren zur geometrischen Transformation der Bilder einer von einer bildgebenden Einrichtung eines Kraftfahrzeugs erzeugten Bildfolge anzugeben.
  • Gelöst wird diese Aufgabe durch ein Verfahren gemäß Anspruch 1. Vorteilhafte Ausführungsformen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
  • Das erfindungsgemäße Verfahren zur geometrischen Transformation der Bilder einer von einer bildgebenden Einrichtung eines Kraftfahrzeugs erzeugten Bildfolge umfasst die nachfolgend dargestellten jeweils wiederholt durchgeführten Schritte:
    • Zunächst wird durch die bildgebende Einrichtung, insbesondere eine Kamera, ein Quellbild erzeugt bzw. aufgenommen, das zumindest Teile der Fahrzeugumgebung darstellt. In der Umgebung des Kraftfahrzeugs wird zudem zumindest ein Objekt durch Abstandssensoren des Kraftfahrzeugs detektiert und es wird ein Abstand des Kraftfahrzeugs zu dem Objekt bestimmt. In Abhängigkeit von diesem Abstand wird eine gewünschte virtuelle Bildaufnahmeperspektive bestimmt und das Quellbild wird geometrisch transformiert in ein virtuelles Ergebnisbild, welches scheinbar aus der virtuellen Bildaufnahmeperspektive aufgenommen ist.
  • Vorzugsweise wird jeder der genannten Verfahrensschritte für jedes Bild der Bildfolge einmalig ausgeführt.
  • Durch die Erfindung kann die virtuelle Bildaufnahmeperspektive so festgelegt werden, dass das detektierte Objekt, welches insbesondere ein Hindernis oder ein anderer Verkehrsteilnehmer sein kann, im Ergebnisbild enthalten ist.
  • Alternativ oder zusätzlich kann durch die Erfindung die virtuelle Bildaufnahmeperspektive so festgelegt werden, dass das detektierte Objekt besonders gut im Ergebnisbild erkennbar bzw. analysierbar ist.
  • Alternativ oder zusätzlich kann durch die Erfindung erreicht werden, dass der Betrachter des Bildes, insbesondere der Fahrer des Kraftfahrzeugs, verbessert bei der Steuerung seines Fahrzeugs relativ zu Objekten in der Umgebung des Fahrzeugs unterstützt wird.
  • Unter einer Bildaufnahmeperspektive im Sinne der Erfindung sei nicht nur die Bildaufnahmeposition (z.B. die Position der Kamera; beschreibbar in drei Dimensionen, z.B. x, y, z) zu verstehen, sondern die Bildaufnahmeposition zusammen mit einer Ausrichtung im Raum (z.B. Position und Ausrichtung der Kamera; beschreibbar in sechs Dimensionen, z.B. x, y, z, Phi, Theta, Psi).
  • Bilder aus virtuellen Perspektiven können realisiert werden durch die Anwendung von perspektivischen Transformationsverfahren, die dem Fachmann an sich bekannt sind. Die perspektivische Transformation berücksichtigt die Veränderung der Position bestimmter Bildbereiche zueinander, die einer Veränderung des Beobachtungspunktes entspricht, was insbesondere über eine lineare Skalierung, Scherung und Rotation hinausgeht. Insbesondere umfasst die perspektivische Transformation in der Regel nichtlineare und/oder numerische mathematische Operationen, die direkt auf einen Bildbereich oder z.B. auf eine veränderbare Zuordnungstabelle angewandt werden, mit deren Hilfe der Bildbereich transformiert wird.
  • Die Erfindung basiert auf der Erkenntnis, dass der Abstand zwischen Kraftfahrzeug und Objekt entscheidenden Einfluss auf das Erreichen insbesondere des oben erstgenannten, verhältnismäßig abstrakten Zieles (das Objekt soll im Ergebnisbild enthalten sein) hat. Diese Erkenntnis ermöglicht die Festlegung eines besonders einfachen und effizienten Verfahrens zur Lösung der genannten Aufgabe.
  • 1 demonstriert die Abstandproblematik und stellt dazu schematisch dar: ein nur teilweise in der Figur dargestelltes Kraftfahrzeug 1 mit einer Kamera 2 zur Aufnahme der Fahrzeugumgebung, ein Hindernis 3 in der Fahrzeugumgebung sowie zwei verschiedene virtuelle Bildaufnahmeperspektiven 4 und 5.
  • Im Quellbild der Kamera 2 ist das Hindernis 3 aufgrund seiner geometrischen Form und Anordnung im Raum nicht enthalten, dennoch stellt es ein bedrohliches Hindernis für das Kraftfahrzeug 1 dar.
  • Wird nun das Quellbild geometrisch in ein virtuelles, scheinbar aus der virtuellen Bildaufnahmeperspektive 5 aufgenommenes Ergebnisbild transformiert, so stellt dieses Ergebnisbild das Hindernis 3 prinzipbedingt nicht dar (es beruht ja nur auf von der Kamera 2 gelieferten Bilddaten). Ein (hypothetisch) tatsächlich physikalisch aus der Bildaufnahmeperspektive 5 aufgenommenes Bild würde - wie 1 unschwer erkennen lässt - das Hindernis selbstverständlich enthalten. Dem Fahrer des Kraftfahrzeugs 1 wird durch das virtuelle, nur scheinbar aus der virtuellen Bildaufnahmeperspektive 5 aufgenommene Ergebnisbild also eine trügerische, tatsächlich nicht gegebene Sicherheit vermittelt.
  • Wird - um ein weiteres Beispiel anzugeben - das Quellbild geometrisch in ein virtuelles, scheinbar aus der virtuellen Bildaufnahmeperspektive 4 aufgenommenes Ergebnisbild transformiert, so enthält dieses Ergebnisbild das Hindernis 3 prinzipbedingt ebenfalls nicht. Ein (hypothetisch) tatsächlich physikalisch aus der Bildaufnahmeperspektive 4 aufgenommenes Bild würde - wie 1 erkennen lässt - das Hindernis zumindest teilweise enthalten. Auch in diesem Fall wird dem Fahrer des Kraftfahrzeugs 1 also durch das virtuelle, nur scheinbar aus der virtuellen Bildaufnahmeperspektive 4 aufgenommene Ergebnisbild eine trügerische, tatsächlich nicht gegebene Sicherheit vermittelt.
  • Das anhand von 1 beispielhaft aufgezeigte Sicherheitsrisiko ist besonders stark ausgeprägt, wenn der Abstand zwischen Kraftfahrzeug und Hindernis sehr gering ist. Hier setzt die Erfindung an. Durch ein intelligentes Verfahren soll ein ausgeprägter Perspektivenwechsel beispielsweise dann zugelassen werden, wenn der Abstand groß und das mit dem Perspektivenwechsel einhergehende Sicherheitsrisiko gering ist. Hingegen soll ein Perspektivenwechsel unterbunden oder zumindest in seinem Ausmaß verringert werden, wenn der Abstand gering ist und der Perspektivenwechsel mit einem Sicherheitsrisiko verbunden wäre.
  • Unter dem Abstand zwischen Kraftfahrzeug und Objekt kann verstanden werden der Abstand zumindest eines Teils des Kraftfahrzeugs zu zumindest einem Teil des Objekts. Insbesondere der zumindest eine Teil des Kraftfahrzeugs, der in die Auswertung eingeht, kann gegebenenfalls vorgegeben sein. Bei komplexeren Umsetzungen können gegebenenfalls auch mehrere Abstände bzw. Abstandswerte - insbesondere von unterschiedlichen Teilen des Kraftfahrzeugs zu unterschiedlichen Teilen des Objekts - ausgewertet werden.
  • Bei der bildgebenden Einrichtung kann es sich insbesondere um eine Kamera handeln. Das erfindungsgemäße Verfahren ist jedoch auch auf sonstige bildgebende Einrichtungen bzw. deren Bildfolgen anwendbar (z.B. Bildfolgen einer Infrarotkamera oder Folgen/Sequenzen künstlich erzeugter Modellbilder einer lidar-basierten und/oder radar-basierten und/oder anderweitig sensorbasierten Einrichtung).
  • Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung erfolgt die Detektion von Objekten in der Umgebung des Kraftfahrzeugs auf Basis von Abstandssensoren, insbesondere ultraschallbasierten Abstandssensoren.
  • Gemäß einer alternativ oder zusätzlich anwendbaren bevorzugten Ausführungsform der vorliegenden Erfindung erfolgt die Detektion von Objekten in der Umgebung des Kraftfahrzeugs auf Basis zumindest eines Quellbilds der bildgebenden Einrichtung. Dabei kann es sich insbesondere um das zuletzt aufgenommene Quellbild handeln. Es können aber alternativ oder zusätzlich auch frühere Quellbilder oder ganze Sequenzen von Quellbildern in die Umgebungsüberwachung einbezogen werden. Ebenso können Quellbilder eigens für diesen Zweck aufgenommen (und nicht für die geometrische Transformation genutzt) werden.
  • Gemäß einer abermals alternativ oder zusätzlich anwendbaren bevorzugten Ausführungsform der vorliegenden Erfindung erfolgt die Detektion von Objekten in der Umgebung des Kraftfahrzeugs auf Basis zumindest eines Ergebnisbilds. Dabei kann es sich insbesondere um das zuletzt erzeugte Ergebnisbild handeln. Es können aber alternativ oder zusätzlich auch frühere Ergebnisbilder oder ganze Sequenzen von Ergebnisbildern in die Umgebungsüberwachung einbezogen werden. Ebenso können Ergebnisbilder eigens für diesen Zweck erzeugt (und nicht für eine optische Ausgabe oder eine sonstige Verwertung genutzt) werden.
  • Erfindungsgemäß wird die Bildaufnahmeperspektive in Abhängigkeit von dem Abstand entlang einer relativ zum Kraftfahrzeug festgelegten Raumbahn verschoben.
  • Dabei wird die virtuelle Bildaufnahmeperspektive vorzugsweise (gegenüber der Bildaufnahmeperspektive vorangehender Ergebnisbilder, die auf Basis derselben Quellbildfolge erzeugt werden) mit abnehmendem Abstand in Richtung einer „flacheren“ Perspektive verschoben. D.h. es wird mit abnehmendem Abstand der Elevationswinkel betragsmäßig verringert bzw. es wird tendenziell von einer Vogelperspektive zu einer waagrechten Vorausschau übergegangen.
  • Alternativ oder zusätzlich kann es vorteilhaft sein, wenn die virtuelle Bildaufnahmeperspektive (gegenüber der Bildaufnahmeperspektive vorangehender Ergebnisbilder, die auf Basis derselben Quellbildfolge erzeugt werden) mit abnehmendem Abstand derart verändert wird, dass die virtuelle Bildaufnahmeposition hin zur physikalischen Bildaufnahmeposition verschoben wird.
  • Ein Sonderfall, der die beiden zuletzt genannten Herangehensweisen vorteilhaft vereinigt, besteht darin, dass die virtuelle Bildaufnahmeperspektive mit abnehmendem Abstand - sowohl hinsichtlich Bildaufnahmeposition als auch hinsichtlich der Ausrichtung im Raum - der physikalischen Bildaufnahmeperspektive angenähert wird.
  • Bevor zur Darstellung eines bevorzugten Ausführungsbeispiels übergegangen wird, sollen in der Folge zwei Szenarien die Vorzüge der Erfindung belegen. Aus der Darstellung der Szenarien ergeben sich weitere Details, bevorzugte Ausführungsformen und Weiterbildungen der Erfindung.
  • Szenario 1:
    • Gemäß einem ersten Szenario wird bei einem erfindungsgemäßen Verfahren bzw. bei einem Kraftfahrzeug mit erfindungsgemäß betriebenen Einrichtungen die virtuelle Bildaufnahmeperspektive selbsttätig derart verändert, dass eine Darstellung eines hindernisfreien Teils der Fahrzeugumgebung im Ergebnisbild größtenteils vermieden wird, wenn sich in der direkten Blickrichtung von der virtuellen Bildaufnahmeperspektive zu diesem hindernisfreien Teil der Umgebung ein Hindernis befindet. Mit anderen Worten: Es darf kein hindernisfreies virtuelles Ergebnisbild erzeugt werden, wenn ein tatsächlich physikalisch aus der entsprechenden Bildaufnahmeperspektive aufgenommenes Bild nicht ebenfalls hindernisfrei wäre.
  • Dabei verhält sich die automatische Steuerung der virtuellen Bildaufnahmeperspektive idealerweise derart, dass die durch die Bildung virtueller Perspektiven erzielbaren Vorteile im größtmöglichen Maße ausgenutzt werden, dabei aber die anhand 1 dargelegte Problematik gezielt vermieden wird. Ohne Beschränkung der Allgemeinheit kann dies beispielsweise bedeuten, dass dem Fahrer die vor ihm liegende Fahrbahn solange aus einer bequemen virtuellen Perspektive, z.B. senkrecht von oben, dargestellt wird bis eine Situation eintritt oder sich anbahnt, die vergleichbar ist zu der Situation aus 1. Ist dies der Fall, wird die virtuelle Perspektive (vorzugsweise kontinuierlich) derart verändert, dass das Problem vermieden wird, aber noch immer eine möglichst gute bzw. komfortable Ansicht der Umgebung des Fahrzeugs ermöglicht wird.
  • Bevorzugt können dabei weitere Bedingungen berücksichtigt werden, insbesondere kann die im Ergebnisbild enthaltene Fläche der Fahrbahn maximiert werden. Somit werden die Vorteile einer virtuellen Perspektive adaptiv so weit wie möglich aufgebaut, ohne dass eventuelle Nachteile zu groß werden.
  • Es kann auch vorteilhaft sein, Hindernisse nach ihrer Höhe, ihrer Anordnung im Raum und/oder ihrer Gefährlichkeit etc. zu unterschieden, um somit ein optimales Verhalten der automatischen Steuerung der virtuellen Perspektive zu erzielen.
  • Szenario 2:
    • Gemäß einem zweiten Szenario wird bei einem erfindungsgemäßen Verfahren bzw. bei einem Kraftfahrzeug mit erfindungsgemäß betriebenen Einrichtungen die virtuelle Bildaufnahmeperspektive selbsttätig derart verändert, dass ein detektiertes Hindernis stets zumindest teilweise im Ergebnisbild erscheint. Vorzugsweise wird die Anpassung der Bildaufnahmeperspektive dabei so ausgeführt, dass der im Ergebnisbild enthaltene Teil des Hindernisses stets kleiner ist als eine vordefinierte Bezugsgröße.
  • Praktisch bedeutet dies, dass die virtuelle Bildaufnahmeperspektive stets so gewählt wird, dass das resultierende Sichtfeld bzw. der resultierende Blickkegel nur so weit in die vorangestellte bzw. als (für die Unterstützung der Fahraufgabe in der Regel) ideal erachtete Richtung geschwenkt wird, dass das Hindernis nicht ganz aus diesem Sichtfeld verschwindet. Somit kann der Nutzer stets erkennen und verstehen, warum sich die Perspektive des ihm dargebotenen Ergebnisbildes verändert hat.
  • Wenn (durch die Abstandssensorik und/oder bildverarbeitungsgestützt auf Basis eines Kamerabilds) ein Hindernis erkannt wird, welches bei ungünstiger Festlegung der virtuellen Bildaufnahmeperspektive übersehen werden könnte (vgl. 1), wird die virtuelle Bildaufnahmeperspektive also vorzugsweise derart angepasst, dass zumindest ein Teil des Hindernisses, der kleiner ist als eine vordefinierte Bezugsgröße, im Ergebnisbild zu sehen sein wird. Die Wahrscheinlichkeit einer Fehldeutung der dargebotenen Umgebungsansicht durch den Fahrer wird somit verringert. In der Situation gemäß 1 müsste die virtuelle Bildaufnahmeperspektive hierzu, vorzugsweise kontinuierlich, in Richtung zurück zum Fahrzeug und/oder nach unten verschoben werden.
  • In anderen Fällen kann es - je nach geometrischer Konstellation von Hindernissen - vorteilhaft sein, die Bildaufnahmeperspektive alternativ oder zusätzlich nach rechts oder links, oben oder unten zu verschieben, um das oben genannte Ziel zu erreichen.
  • Im Folgenden wird anhand der weiteren beigefügten Zeichnungen ein bevorzugtes Ausführungsbeispiel der Erfindung beschrieben. Daraus ergeben sich weitere Details, bevorzugte Ausführungsformen und Weiterbildungen der Erfindung. Im Einzelnen zeigen schematisch
    • 2 die räumlichen Verhältnisse zwischen einem Kraftfahrzeug, einem Hindernis und verschiedenen physikalischen und virtuellen Bildaufnahmeperspektiven und
    • 3 eine Bildschirmaufteilung bei einem beispielhaften Verfahren zur Darstellung einer Umgebungsszene aus verschiedenen Bildaufnahmeperspektiven.
  • Um die anhand von 1 aufgezeigten Sicherheitsrisiken eines Perspektivenwechsels zu vermeiden, ist im nachfolgend vorgestellten Beispielssystem die geometrische Transformation des Quellbilds einer an einem Kraftfahrzeug angeordneten Kamera 2 in Abhängigkeit von einer auf die Fahrzeugumgebung bezogenen Objekterkennung ausgestaltet.
  • Insbesondere wird die virtuelle Bildaufnahmeperspektive, in welche die Quellbilder der bildgebenden Einrichtung geometrisch transformiert werden, bei dem Beispielsystem automatisch anhand der Ergebnisse der Umfelderkennung eingestellt bzw. gesteuert bzw. festgelegt.
  • Die Umfelderkennung kann grundsätzlich auf unterschiedliche Art und Weise ausgestaltet sein. Es kann sich um eine Hinderniserkennung handeln oder beispielsweise um eine Erkennung von Fahrbahngrenzen oder Fahrbahnmarkierungen, gleichwohl aber auch um eine Erkennung von befahrbaren oder nicht befahrbaren Fahrbahnabschnitten.
  • Durch die automatische Steuerung bzw. Festlegung der virtuellen Bildaufnahmeperspektive kann die virtuelle Bildaufnahmeperspektive für verschiedene Bilder einer Bildfolge unterschiedlich festgelegt werden, ohne dass der Fahrer des Kraftfahrzeugs oder ein anderer Bediener eingreifen muss. So kann ein Hindernis - beispielsweise bei einer gefährlichen Annäherung an dieses - dem Fahrer aus einer anderen Perspektive gezeigt werden als bei größerem Abstand zwischen Kraftfahrzeug und Hindernis. D.h. der vom Fahrer „gefühlte“ Draufsichtwinkel bzw. der durch die Festlegung der virtuellen Bildaufnahmeperspektive eingestellte virtuelle Betrachtungswinkel wird automatisch bzw. selbsttätig abhängig von der Entfernung zu dem Hindernis eingestellt.
  • Als Sensorik zur Detektion von Objekten in der Umgebung des Kraftfahrzeugs dienen Abstandssensoren, insbesondere ultraschallbasierte Abstandssensoren. Solche Abstandssensoren sind in vielen modernen Kraftfahrzeugen ohnehin vorhanden und müssen nicht eigens für die Zwecke der Erfindung bereitgestellt werden.
  • 2 zeigt die Komponenten eines entsprechenden Beispielsystems und die räumlichen Verhältnisse zwischen Kraftfahrzeug, Hindernis, physikalischer Bildaufnahmeperspektive und virtuellen Bildaufnahmeperspektiven in einem Beispielszenario.
  • Zunächst vergleichbar zu der Szene aus 1, zeigt 2 schematisch: ein nur teilweise in der Figur dargestelltes Kraftfahrzeug 1 mit einer Kamera 2 zur Aufnahme der Fahrzeugumgebung, ein Hindernis 9 in der Fahrzeugumgebung sowie zwei verschiedene virtuelle Bildaufnahmeperspektiven 4 und 5.
  • Der Abstandssensor 7 des Kraftfahrzeugs 1 (sowie eine nachgeschaltete Auswerteeinheit) überwacht die Fahrzeugumgebung und detektiert das Hindernis 9 in der Fahrzeugumgebung. Auf Basis der Signale des Abstandssensors 7 wird insbesondere der Abstand des Kraftfahrzeugs 1 vom Hindernis 9 bestimmt.
  • Abhängig von den Resultaten der Umfeldüberwachung kann nun eine virtuelle Bildaufnahmeperspektive, in welche die von der Kamera 2 aufgenommenen Bilder transformiert werden, im Raum festgelegt werden.
  • Im in 2 dargestellten - noch verhältnismäßig einfachen - Beispielfall wird die Bildaufnahmeperspektive in Abhängigkeit von dem Abstand zwischen Kraftfahrzeug 1 und Hindernis 9 entlang der durch den gestrichelten Pfeil 6 angedeuteten Raumbahn verschoben.
  • Bevorzugt wird die automatische Verschiebung derart ausgeführt, dass die virtuelle Bildaufnahmeperspektive mit abnehmendem Abstand in Richtung einer „flacheren“ Perspektive verschoben wird, während bei größerem Abstand eher eine Draufsicht bzw. eine Ansicht aus der Vogelperspektive dargeboten wird. So wird die weiter oben anhand von 1 dargelegte Problematik wirkungsvoll vermieden.
  • Alternativ kann die automatische Verschiebung aber auch - z.B. für die Bereitstellung einer Lösung in Sonderfällen - derart ausgeführt werden, dass die virtuelle Bildaufnahmeperspektive mit abnehmendem Abstand in Richtung einer Draufsicht bzw. einer Ansicht aus der Vogelperspektive verschoben wird, während bei größerem Abstand eher eine „flachere“ Perspektive verwendet wird. So kann bewirkt werden, dass dem Fahrer bei größerem Abstand ein verbesserter Blick in die weitere Fahrzeugumgebung ermöglicht wird, während er bei geringem Abstand zu einem Hindernis die Form des Hindernisses verbessert anhand der Draufsicht abschätzen kann.
  • Aufwändigere Ausgestaltungsvarianten der Erfindung sehen vor, die Umfelderkennung, die Objektdetektion und/oder gegebenenfalls eine Szeneninterpretation zumindest teilweise auf von der Kamera 2 aufgenommene Quellbilder zu stützen.
  • Abermals aufwändigere Ausgestaltungsvarianten der Erfindung sehen vor, die Umfelderkennung, die Objektdetektion und/oder gegebenenfalls eine Szeneninterpretation zumindest teilweise auf virtuelle Ergebnisbilder zu stützen, die durch geometrische Transformation von Quellbildern der Kamera 2 in eine virtuelle Bildaufnahmeperspektive erzeugt worden sind.
  • Gegebenenfalls können für die Zwecke der Umfelderkennung, der Objektdetektion und/oder gegebenenfalls der Szeneninterpretation auch eigens zusätzliche Bilder durch die Kamera 2 aufgenommen werden. Diese zusätzlichen Bilder sind nicht für die Darstellung an den Fahrer bestimmt und müssen - zumindest zu diesem Zweck - nicht zwingend einer geometrischen Transformation unterzogen werden.
  • In Sonderfällen können für die Zwecke der Umfelderkennung, der Objektdetektion und/oder gegebenenfalls der Szeneninterpretation auch eigens zusätzliche Bilder durch die Kamera 2 aufgenommen und speziell für die Zwecke der Umfelderkennung, der Objektdetektion und/oder gegebenenfalls der Szeneninterpretation in eine hierfür geeignete virtuelle Bildaufnahmeperspektive transformiert werden.
  • Werden Kamerabilder sowohl für die Umfeldsensierung/Objekterkennung/Hindernisdetektion als auch zur optischen Ausgabe an den Fahrer (in ggf. transformierter Form) verwendet, so wird dabei vorzugsweise die Umfeldsensierung, Objekterkennung, Hindernisdetektion auf Basis eines wesentlich größeren Erfassungswinkels vorgenommen, als die optische Ausgabe an den Fahrer.
  • Durch die Anwendung der Umfelderkennung auf das bereits transformierte Bild (welches wiederum von den Ergebnissen der Umfelderkennung abhängt), kann eine Regelschleife gebildet werden, die eine automatische Maximierung der Erkennungswahrscheinlichkeit bewirken kann.
  • Bei geschickter Ausgestaltung eines auf diesen Techniken basierenden Verfahrens kann ein in der Fahrzeugumgebung vorhandenes Hindernis anhand der Umfeldsensierung lokalisiert werden und es kann anhand dieser Lokalisierung der entsprechende Bildbereich aus dem gesamten Quellbild der bildgebenden Vorrichtung ausgewählt und beispielsweise vergrößert dargestellt werden. Dies bringt den Vorteil mit sich, dass der Fahrer - durch die vergrößerte Darstellung - verbessert auf Hindernisse aufgemacht wird und diese genauer analysieren kann.
  • Zusätzlich kann auch der Bildausschnitt der bildgebenden Einrichtung in Abhängigkeit von den Ergebnissen einer Umfeldüberwachung bzw. Hinderniserkennung festgelegt werden.
  • Dabei können die entsprechenden Bildverarbeitungsprozeduren grundsätzlich in beliebiger Reihenfolge ausgeführt werden. Vorteilhaft erscheint es jedoch, die Durchführung der Windowing- bzw. Zoom-Funktionalität (sofern enthalten) zuerst durchzuführen und erst dann die Anwendung der virtuellen perspektivischen Transformation auf das Bild. Durch dieses Vorgehen kann die für das Gesamtverfahren aufzuwendende Rechenleistung reduziert werden.
  • Wird auf Basis der Erfindung ein virtuelles Ergebnisbild erzeugt, können sich weitere Vorteile aus einer geschickten bzw. vorteilhaften optischen Ausgabe desselben ergeben. Im Folgenden wird dabei ohne Beschränkung der Allgemeinheit ausgegangen von der optischen Ausgabe auf einer Anzeigeeinheit im Fahrzeuginneren.
  • Beispielsweise kann dabei ein zusammengesetztes Bild erzeugt und dargestellt werden. Es kann erzeugt werden als Kombination aus zumindest einem perspektivisch transformierten Ergebnisbild und zumindest einem nicht perspektivisch transformierten Quellbild.
  • Insbesondere können dabei beide Bilder, d.h. das zumindest eine Ergebnisbild und das zumindest eine Quellbild, von ein und derselben bildgebenden Einrichtung stammen bzw. auf Bilddaten ein und derselben bildgebenden Einrichtung basieren.
  • Die Darstellung des zumindest einen Ergebnisbilds und des zumindest einen Quellbilds kann grundsätzlich gleichzeitig oder abwechselnd erfolgen.
  • Vorzugsweise basiert ein gleichzeitig mit einem Quellbild dargestelltes Ergebnisbild auf Bilddaten dieses Quellbilds. Es kann jedoch auch auf Bilddaten eines anderen Quellbilds basieren, das zeitlich eng benachbart zu dem dargestellten Quellbild aufgenommen worden ist.
  • Durch die Darstellung auch des Quellbilds (zusätzlich zu zumindest einem virtuellen Ergebnisbild) verliert der Fahrer nicht den Bezug zu der physikalischen Bildaufnahmeperspektive einer am Fahrzeug angebrachten Kamera.
  • Eine eventuelle automatische Abwechslung zwischen einer Darstellung des zumindest einen Ergebnisbilds und einer Darstellung des zumindest einen Quellbilds kann in vergleichbarer Art und Weise zum Umschalten der Kanäle einer Videoüberwachungsanlage erfolgen. Eine automatische Abwechslung kann zeitgesteuert vorgenommen werden, oder - was in der Regel zu bevorzugen sein dürfte - in Anhängigkeit von einer von dem Fahrzeug seit der letzten Umschaltung gefahrenen Strecke. Auf diese Weise ließe sich die Geschwindigkeit des Fahrzeuges berücksichtigen und die Wahrscheinlichkeit minimieren, dass veränderte Umgebungsbedingungen durch die Umschaltvorgänge übersehen werden. Wahlweise kann die Geschwindigkeit auch unmittelbar in die Abwechslungssteuerung einbezogen werden.
  • Vorteilhaft kann es auch sein, ein Ergebnisbild darstellungstechnisch in ein Quellbild zu integrieren bzw. einzufügen oder - umgekehrt - ein Quellbild darstellungstechnisch in ein Ergebnisbild zu integrieren bzw. einzufügen. Dabei kann insbesondere das Bild das in das jeweils andere Bild eingefügt wird, verkleinert werden. Indem dabei das verkleinerte Bild auf einen (bildverarbeitungsgestützt erkannten) relevanten Bereich begrenzt wird, kann vermieden wird, dass die Darstellung dieses relevanten Bereichs für den Betrachter allzu klein ausfällt.
  • Insbesondere können Ergebnisbild und Quellbild gemeinsam im Rahmen einer Bild-in-Bild-Einblendung angezeigt werden.
  • Dabei können beispielsweise in einem „normal“ interpretierbaren Quellbild der Kamera vergrößerte Ausschnitte einblendet werden, die Hindernisse in der Fahrzeugumgebung zeigen und jeweils erfindungsgemäß als virtuelle, perspektivisch transformierte Ergebnisbilder erzeugt sind. Die jeweilige virtuelle Bildaufnahmeperspektive dieser Bilder wird dabei vorzugsweise adaptiv in Anhängigkeit vom Abstand zu dem jeweiligen Hindernis festgelegt.
  • 3 zeigt eine mögliche Bildschirmansicht, erzeugt durch Bild-in-Bild-Einblendung.
  • Das größte Bildfeld 11 zeigt ein direkt von der aufnehmenden Kamera stammendes, nicht perspektivisch transformiertes Quellbild. Die kleineren Bildfelder 12, 13 und 14 enthalten Ansichten eines oder mehrerer Hindernisse aus einer oder mehreren virtuellen Perspektiven.
  • Es ist als Alternative zur Konstellation gemäß 3 auch vorstellbar, ein Quellbild zusammen mit einer Vielzahl von kleineren, rund um das Quellbild herum angeordneten, virtuell transformierten gezoomten Ergebnisbildern eines ausgewählten Objekts zu erzeugen und darzustellen.
  • Gemäß einer vorteilhaften Ausgestaltung des Anzeigeschemas gemäß 3 wird im Bildfeld 13, also oben mittig im Gesamtbild, ein Ergebnisbild mit im Wesentlichen virtueller Perspektive „von oben“ (d.h. oberhalb der physikalischen Kameraposition) angezeigt, im Bildfeld 12 links oben ein Ergebnisbild mit im Wesentlichen virtueller Perspektive „von oben links“ und im Bildfeld 14 rechts oben ein Ergebnisbild mit im Wesentlichen virtueller Perspektive „von oben rechts“. Die Anordnung der einzelnen Ergebnisbilder orientiert sich also an den virtuellen Bildaufnahmeperspektiven und unterstützt somit die Interpretierbarkeit der Bildinhalte.
  • Im Sinne einer Orientierung der Anordnung der einzelnen Ergebnisbilder an den jeweiligen virtuellen Bildaufnahmeperspektiven kann es auch vorteilhaft sein, diese innerhalb des größeren Quellbilds oder entlang des Randbereiches des größeren Quellbilds in Abhängigkeit von einer sich verändernden Bildaufnahmeperspektive des jeweiligen Ergebnisbilds zu verschieben.
  • Vorzugsweise entspricht dabei die relative Position bzw. Anordnung der Bildfelder zueinander der relativen Position bzw. Anordnung der jeweiligen Bildaufnahmeperspektiven zueinander. Die Ergebnisbilder sind also zum Quellbild vorzugsweise entsprechend der Anordnung der jeweiligen virtuellen Bildaufnahmeperspektiven bezogen auf die physikalische Position der bildgebenden Einrichtung angeordnet.
  • Wird auf Basis der Erfindung ein virtuelles Ergebnisbild erzeugt, können sich weitere Vorteile aus einer geschickten bzw. vorteilhaften Gestaltung der zugehörigen Mensch-Maschine-Schnittstelle und den durch diese Mensch-Maschine-Schnittstelle eröffneten Bedienmöglichkeiten ergeben.
  • Gemäß einer bevorzugten Ausgestaltung einer solchen Mensch-Maschine-Schnittstelle wird dem Fahrer bzw. Bediener die Möglichkeit gegeben, umzuschalten zwischen zwei verschiedenen Bild-in-Bild-Ansichten. Dabei ist bei der ersten dieser beiden Bild-in-Bild-Ansichten zumindest ein (kleineres) virtuelles Ergebnisbild eingefügt in ein (größeres) „normales“, nicht perspektivisch transformiertes Umgebungsbild, insbesondere das zum Ergebnisbild gehörige Quellbild. Die zweite dieser beiden Bild-in-Bild-Ansichten, zu welcher der Fahrer bzw. Bediener umschalten kann, ist umgekehrt aufgebaut: das (kleinere) „normale“, nicht perspektivisch transformierte Umgebungsbild ist eingefügt in das (größere) virtuelle Ergebnisbild.
  • Die zweite Bild-in-Bild-Ansicht stellt dabei gewissermaßen den Ansichtsmodus „für Fortgeschrittene“ dar. Die Umschaltmöglichkeit ist insbesondere auch deswegen vorteilhaft und sinnvoll, weil ein erfindungsgemäß erzeugtes Ergebnisbild, das eine Umgebungsszene bzw. ein Hindernis in der Fahrzeugumgebung aus einer virtuellen Perspektive zeigt, für viele Bediener anfänglich oft noch schwer interpretierbar, d.h. gewöhnungsbedürftig, ist. Bei Verfügbarkeit einer Modusumschaltung kann ein solcher Bediener zunächst die einfacher interpretierbare Darstellung (großes Bild aus physikalischer Perspektive, kleine(s) Bild(er) aus virtueller Perspektive) nutzen und erst nach einer gewissen Eingewöhnungszeit zu der unter Umständen für manche Fahraufgaben nützlicheren umgekehrten Darstellung umschalten.
  • Gemäß einer anderen, jedoch mit den oben genannten Aspekten kombinierbaren, bevorzugten Ausgestaltung einer Mensch-Maschine-Schnittstelle wird dem Fahrer bzw. Bediener die Möglichkeit gegeben, zumindest einen Parameter der virtuellen Perspektive und / oder des Bildausschnittes mittels eines Bedienelements zu verändern. Somit kann der Benutzer mittels eines Drehknopfs, Joysticks und/oder mittels eines Gestikerkennungsbedienelement etc., gegebenenfalls auch durch Sprachkommandos, eine automatisch voreingestellte Perspektive verändern (z.B. Pilot-Funktion) und/oder zwischen der Ansicht beispielsweise mehrerer hervorgehobener Objekte/Hindernisse navigieren.
  • Gemäß einer abermals anderen, jedoch ebenfalls mit den oben genannten Aspekten kombinierbaren, bevorzugten Ausgestaltung einer Mensch-Maschine-Schnittstelle wird abhängig von der Anzahl der Hindernisse und deren Geschwindigkeit automatisch eine besonders passende bzw. geeignete Darstellungsart aus einer Menge vordefinierter möglicher Darstellungsarten ausgewählt.
  • Das erfindungsgemäße Verfahren kann - obwohl sich weite Teile der vorliegenden Beschreibung auf die optische Ausgabe an den Fahrer eines Kraftfahrzeugs beziehen - nicht nur für eine solche optische Ausgabe genutzt werden, sondern auch zum Zweck der automatischen Weiterverarbeitung, insbesondere Objekterkennung.
  • In Bezug zur Erfindung steht auch das nachfolgend beschriebene Beispielsystem bzw. Beispielverfahren: Bei diesem Beispielsystem bzw. Beispielverfahren wird die Wahl der virtuellen Bildaufnahmeperspektive in erster Linie durch eine nachgeschaltete Bildverarbeitung getrieben, die entsprechend der Detektions- bzw. Klassifikationsaufgabe die vorteilhafteste Ansicht wählt. Dies ermöglicht automatisch einen virtuellen Fokus auf eine algorithmisch bestimmte Region, welche im Laufe einer Sequenz von Bildern stabil gehalten werden kann. Die auf diese Art und Weise gewonnene Bildstabilität ermöglicht es einem menschlichen Betrachter, relevante Informationen schnell von irrelevanten Informationen zu unterscheiden.
  • Veranschaulicht werden soll dies zunächst an einem Fahrzeug mit Rückfahrkamera, dessen Anhängerkupplung an einen Anhänger angedockt werden soll. Unter Nutzung der Erfindung kann das Ziel, d.h. der Anhänger bzw. dessen Gegenstück zur Anhängerkupplung, zunächst bildverarbeitungsgestützt detektiert werden und auf Basis der Detektion eine Bildaufnahmeperspektive derart festgelegt werden, dass der Anhänger in Frontalansicht dargestellt wird. Diese Ansicht hätte keine perspektivischen Verzerrungen und würde den Anhänger über das komplette Andockmanöver mittig im Bild halten. Lenkanweisungen an den Fahrer können dabei beispielsweise durch Überlagerung, d.h. über ein Overlay, eingeblendet werden. Im Gegensatz zu reinen Bildstabilisierungsverfahren, handelt es sich hierbei um eine Kombination von Stabilisierung und gezielter Perspektivenkorrektur. Somit kann auch ein beliebiger relevanter Bildbereich zur besseren Wahrnehmbarkeit aufbereitet werden.
  • Veranschaulicht werden soll dies ferner an einem Fahrzeug mit weitwinkliger Frontkamera, dessen Fahrer einen Linksabbiegevorgang durchführen möchte. Die virtuelle Bildaufnahmeperspektive wird dabei idealerweise so gewählt, dass dem Fahrer im Fahrzeuginneren - gegebenenfalls zusätzlich zu anderen Darstellungen - ein Ergebnisbild dargestellt wird, durch welches dem Fahrer eine (scheinbar) frontale Annäherung eines Fremdfahrzeugs angezeigt wird. Dies hat den Vorteil einer gezielten Steuerung der Aufmerksamkeit des Fahrers.

Claims (9)

  1. Verfahren zur geometrischen Transformation der Bilder einer von einer bildgebenden Einrichtung eines Kraftfahrzeugs erzeugten Bildfolge, umfassend die jeweils wiederholt durchgeführten Schritte: - Erzeugen eines zumindest Teile der Fahrzeugumgebung darstellenden Quellbilds durch die bildgebende Einrichtung, - Detektion eines Objekts in der Umgebung des Kraftfahrzeugs durch Abstandssensoren des Kraftfahrzeugs, - Bestimmen eines Abstands des Kraftfahrzeugs zu dem Objekt, - Bestimmen einer gewünschten virtuellen Bildaufnahmeperspektive in Abhängigkeit von dem Abstand, wobei die Bildaufnahmeperspektive in Abhängigkeit von dem Abstand entlang einer relativ zum Kraftfahrzeug festgelegten Raumbahn verschoben wird, - geometrisches Transformieren des Quellbilds in ein virtuelles, scheinbar aus der virtuellen Bildaufnahmeperspektive aufgenommenes Ergebnisbild.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Detektion des Objekts in der Umgebung des Kraftfahrzeugs Abstandssensoren verwendet werden, insbesondere ultraschallbasierte Abstandssensoren.
  3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Detektion von Objekten in der Umgebung des Kraftfahrzeugs auf Basis zumindest eines Quellbilds der bildgebenden Einrichtung erfolgt.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass zumindest ein Quellbild, auf dessen Basis die Detektion erfolgt, eigens für diesen Zweck von der bildgebenden Einrichtung erzeugt wird.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Detektion von Objekten in der Umgebung des Kraftfahrzeugs auf Basis zumindest eines virtuellen Ergebnisbilds erfolgt.
  6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass zumindest ein Ergebnisbild, auf dessen Basis die Detektion erfolgt, eigens für diesen Zweck erzeugt wird.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die virtuelle Bildaufnahmeperspektive mit abnehmendem Abstand in Richtung einer flacheren Ausrichtung im Raum verändert wird.
  8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die virtuelle Bildaufnahmeperspektive mit abnehmendem Abstand derart verändert wird, dass die virtuelle Bildaufnahmeposition hin zur physikalischen Bildaufnahmeposition verschoben wird.
  9. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die virtuelle Bildaufnahmeperspektive mit abnehmendem Abstand der physikalischen Bildaufnahmeperspektive angenähert wird.
DE102009035422.0A 2009-07-31 2009-07-31 Verfahren zur geometrischen Bildtransformation Active DE102009035422B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102009035422.0A DE102009035422B4 (de) 2009-07-31 2009-07-31 Verfahren zur geometrischen Bildtransformation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102009035422.0A DE102009035422B4 (de) 2009-07-31 2009-07-31 Verfahren zur geometrischen Bildtransformation

Publications (2)

Publication Number Publication Date
DE102009035422A1 DE102009035422A1 (de) 2011-02-03
DE102009035422B4 true DE102009035422B4 (de) 2021-06-17

Family

ID=43402592

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009035422.0A Active DE102009035422B4 (de) 2009-07-31 2009-07-31 Verfahren zur geometrischen Bildtransformation

Country Status (1)

Country Link
DE (1) DE102009035422B4 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022211766A1 (de) 2022-11-08 2024-05-08 Continental Autonomous Mobility Germany GmbH Verfahren zur Erzeugung einer Umfeldinformation, Steuereinrichtung, Fahrzeug und Computerprogramm

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011116771A1 (de) * 2011-10-22 2013-04-25 Valeo Schalter Und Sensoren Gmbh Verfahren zum Anzeigen von Bildinformationen auf einer Anzeigeeinheit eines Fahrzeugs sowie Fahrerassistenzeinrichtung zum Durchführen eines derartigen Verfahrens
DE102011118253B4 (de) * 2011-11-11 2013-09-12 Audi Ag Verfahren zum Betrieb eines elektronischen Rückspiegels eines Kraftfahrzeugs und Kraftfahrzeug
DE102011087901A1 (de) 2011-12-07 2013-06-13 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
DE102013012808B4 (de) * 2013-08-01 2023-11-23 Connaught Electronics Ltd. Verfahren zum Erzeugen einer Look-Up-Tabelle im Betrieb eines Kamerasystems, Kamerasystem und Kraftfahrzeug
DE102013014967A1 (de) * 2013-09-09 2015-03-12 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Fahrerassistenzsystem für ein Kraftfahrzeug
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
DE102017117094A1 (de) * 2017-07-28 2019-01-31 Connaught Electronics Ltd. Individualisierbare Darstellung einer Umgebung eines Kraftfahrzeugs durch eine Fahrerassistenzvorrichtung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080231702A1 (en) * 2007-03-22 2008-09-25 Denso Corporation Vehicle outside display system and display control apparatus
WO2008149664A1 (ja) * 2007-05-30 2008-12-11 Aisin Seiki Kabushiki Kaisha 駐車支援装置
DE112007000371T5 (de) * 2006-11-29 2009-07-09 Fujitsu Ltd., Kawasaki Objekterkennungssystem und -Verfahren

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112007000371T5 (de) * 2006-11-29 2009-07-09 Fujitsu Ltd., Kawasaki Objekterkennungssystem und -Verfahren
US20080231702A1 (en) * 2007-03-22 2008-09-25 Denso Corporation Vehicle outside display system and display control apparatus
WO2008149664A1 (ja) * 2007-05-30 2008-12-11 Aisin Seiki Kabushiki Kaisha 駐車支援装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022211766A1 (de) 2022-11-08 2024-05-08 Continental Autonomous Mobility Germany GmbH Verfahren zur Erzeugung einer Umfeldinformation, Steuereinrichtung, Fahrzeug und Computerprogramm

Also Published As

Publication number Publication date
DE102009035422A1 (de) 2011-02-03

Similar Documents

Publication Publication Date Title
DE102009035422B4 (de) Verfahren zur geometrischen Bildtransformation
DE102008034594B4 (de) Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
EP3512739B1 (de) Verfahren zum bereitstellen einer rückspiegelansicht einer fahrzeugumgebung eines fahrzeugs
EP2603402B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung und fahrerassistenzsystem
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
EP3394708B1 (de) Verfahren zum betreiben eines virtual-reality-systems und virtual-reality-system
EP3055650B1 (de) Verfahren und vorrichtung zur augmentierten darstellung
EP1470958B1 (de) Freiraumüberwachung bei Kraftfahrzeugen
DE102012025322B4 (de) Kraftfahrzeug mit Kamera-Monitor-System
EP2603413B1 (de) Verfahren zur unterstützung eines parkvorgangs eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
DE102016106255A1 (de) Fahrzeugaussenseiten-Kamerasysteme und Verfahren
EP2637898A1 (de) Verfahren zum erzeugen eines bilds einer fahrzeugumgebung und abbildungsvorrichtung
EP3029929A1 (de) Sichtsystem
DE102009020328A1 (de) Verfahren zur Darstellung von unterschiedlich gut sichtbaren Objekten aus der Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung
DE102017218074A1 (de) Verfahren zum Darstellen einer Umgebung eines Fahrzeugs
DE102012212577A1 (de) System und verfahren für ein video mit verbesserter tiefenwahrnehmung
DE102010051204A1 (de) Verfahren zum Darstellen eines Hindernisses und Abbildungsvorrichtung
WO2019134845A1 (de) Spiegelersatzsystem sowie verfahren zur darstellung von bild- und/oder videodaten der umgebung eines kraftfahrzeugs
EP2996327B1 (de) Surround-view-system für fahrzeuge mit anbaugeräten
DE102014116441A1 (de) Verfahren zum Darstellen einer Sicherheitsinformation, Fahrerassistenzsystem und Kraftfahrzeug
DE102010034127A1 (de) Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung in einem Kraftfahrzeug, Fahrerassistenzsystem und Kraftfahrzeug
EP3106349B1 (de) Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels
DE102017218090A1 (de) Verfahren zur Darstellung von Bildern eines Kamerasystems eines Fahrzeugs
EP3056386A1 (de) Heckbereichssichtsystem
EP2804785B1 (de) Anzeigesystem für ein fahrzeug

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final