DE102008062121B4 - Kameraeinheit mit Fahrkorridor-Anzeigefunktion für ein Fahrzeug, Verfahren zur Anzeige einer vorausberechneten Fahrzeugtrajektorie und System zur Generierung von Fahrkorridormarkierungen - Google Patents

Kameraeinheit mit Fahrkorridor-Anzeigefunktion für ein Fahrzeug, Verfahren zur Anzeige einer vorausberechneten Fahrzeugtrajektorie und System zur Generierung von Fahrkorridormarkierungen Download PDF

Info

Publication number
DE102008062121B4
DE102008062121B4 DE102008062121A DE102008062121A DE102008062121B4 DE 102008062121 B4 DE102008062121 B4 DE 102008062121B4 DE 102008062121 A DE102008062121 A DE 102008062121A DE 102008062121 A DE102008062121 A DE 102008062121A DE 102008062121 B4 DE102008062121 B4 DE 102008062121B4
Authority
DE
Germany
Prior art keywords
nodes
vehicle
image
camera unit
steering angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102008062121A
Other languages
English (en)
Other versions
DE102008062121A1 (de
Inventor
Oleg Suwon Konevsky
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electro Mechanics Co Ltd
Original Assignee
Samsung Electro Mechanics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electro Mechanics Co Ltd filed Critical Samsung Electro Mechanics Co Ltd
Publication of DE102008062121A1 publication Critical patent/DE102008062121A1/de
Application granted granted Critical
Publication of DE102008062121B4 publication Critical patent/DE102008062121B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/08Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0275Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402Image calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Kameraeinheit mit Fahrkorridor-Anzeigefunktion für ein Fahrzeug umfassend:
einen Bildsensor, der zur Gewinnung eines Bildes von außerhalb des Fahrzeugs eingerichtet ist;
einen Interface-Controller zur Verbindung der Kameraeinheit mit anderen Fahrzeugeinrichtungen und zum Empfang eines Lenkwinkel-Deskriptors, der zur Generierung einer Vielzahl von Knotenpunkten eines Fahrkorridorbilds für einen erforderlichen Lenkwinkel eingerichtet ist, wobei die Vielzahl von Knotenpunkten als Punkte auf einer Bézierkurve berechnet wird; und
eine Bildverarbeitungseinrichtung, die zur Generierung von Fahrkorridormarkierungen und zur Einblendung der Fahrkorridormarkierungen in dem vom Bildsensor übertragenen Bild eingerichtet ist,
wobei die Fahrkorridormarkierungen in der Bildverarbeitungseinrichtung basierend auf den Koordinaten der Knotenpunkte, die vom Interface-Controller übertragen werden, berechnet und durch Verbinden der nebeneinanderliegenden Knotenpunkte anhand von Liniensegmenten generiert werden,
und wobei der Bildsensor, der Interface-Controller und die Bildverarbeitungseinrichtung in einer einzigen Kameraeinheit umfasst sind.

Description

  • Verweis auf verbundene Anmeldungen
  • Die vorliegende Anmeldung stützt sich auf die koreanische Patentanmeldung Nummer 10-2008-0096904 , die am 2. Oktober 2008 beim Koreanischen Amt für Geistiges Eigentum eingereicht wurde und deren Offenbarung durch Bezugnahme mit eingebunden ist.
  • Hintergrund der Erfindung
  • 1. Technisches Gebiet
  • Das vorliegende erfinderische Konzept betrifft ein Kamerasystem, umfassend zumindest eine bildsensorgestützte Kameraeinheit, die zur Verbesserung der Fahrsicherheit am Fahrzeug angeordnet ist, und ein Verfahren zur Anzeige einer vorausberechneten Fahrzeugtrajektorie sowie ein System zur Generierung von Fahrkorridormarkierungen.
  • 2. Stand der Technik
  • Bildsensorgestützte Kameras kommen in Fahrzeugen immer häufiger zum Einsatz. Indem ein in der Umgebung des Fahrzeugs befindlicher Bereich erfasst und auf dem vor dem Fahrer angeordneten Monitor angezeigt wird, ermöglicht das System eine verbesserte Wahrnehmung der Fahrzeugposition und -ausrichtung bezüglich anderer Objekte (andere Fahrzeuge, Fußgänger, Radfahrer, Gebäude, Bäume, Straßen und Parkplatzmarkierungen etc.) und eine bessere Kontrolle über die Verkehrssituation, wodurch die Fahrsicherheit erhöht wird. Insbesondere, wie in der 1 dargestellt, erfasst eine fahrzeugrückseitig angeordnete Kamera (Rückblickkamera) den hinter dem Fahrzeug befindlichen Bereich, der für gewöhnlich vom Fahrersitz aus nicht einsehbar ist. Gleichermaßen kann zur Erfassung des vor dem Fahrzeug befindlichen Bereichs eine Frontblickkamera fahrzeugfrontseitig angeordnet sein.
  • Die Kameraeinheit ist vorzugsweise klein genug ausgeführt, so dass sie ohne Beeinträchtigung der Fahrzeugoptik auf dem Abschlussblech, der Heckklappe oder dem Kühlergrill des Fahrzeugs anordenbar ist.
  • Um den durch die Kamera erfassten und auf dem Monitor angezeigten Bereich zu maximieren, enthalten Rückblickkameras Weitwinkellinsen (FOV), typischerweise mit einem Winkel von 120°–135°, vereinzelt mit bis zu 190°. Der Nachteil solcher Kameras besteht darin, dass infolge der Differenz zwischen dem Blickwinkel (FOV) der Kamera und dem durchschnittlichen Blickwinkel (FOV) des menschlichen Auges die durch die Kamera erfassten entfernten Objekte im Vergleich zu den nahen Objekten kleiner erscheinen als vom menschlichen Auge zu erwarten wäre. Dieses Missverhältnis kann zu Verwirrung führen, da es schwierig wird, die Abmessungen des fahrenden Fahrzeugs bezüglich anderer auf dem erfassten Bild angezeigter Objekte einzuschätzen.
  • Um dieses Problem zu überwinden werden, wie in der 2 dargestellt, Markierungen zur Darstellung der Fahrzeugabmessungen bezüglich der Objektentfernung zusammen mit dem durch die Kamera erfassten Bild angezeigt. Sofern sich die Markierungen gemäß dem Lenkwinkel nicht verändern, bezeichnet man diese dargestellte Markierungsart oft als „statischen Overlay”.
  • Um das Fahren insbesondere beim Manövrieren in engen Räumen, beispielsweise in einer Garage oder Parklücke, noch sicherer und einfacher zu gestalten, kann das Kamerasystem mit einer Fahrkorridoranzeige ausgestattet sein, die oft als „dynamischer Overlay” bezeichnet wird. Diese Funktion ähnelt dem statischen Overlay, mit dem Unterschied, dass die die Fahrzeugabmessungen darstellenden Markierungen gemäß dem Lenkwinkel veränderlich sind. Demzufolge zeigt der Fahrkorridor die vorausberechnete Fahrzeugtrajektorie bezüglich der umliegenden Objekte unter der Annahme an, dass das Fahrzeug mit dem momentanen Lenkwinkel weitergefahren wird. Wenn der Fahrer durch Drehen des Lenkrads den Lenkwinkel verändert, kommt es zu einer entsprechenden Änderung des angezeigten Fahrkorridors (3).
  • Um eine solche Funktion zu implementieren, ist es erforderlich, dass das Kamerasystem mit anderen Fahrzeugeinrichtungen, beispielsweise dem Lenkrad, typischerweise über CAN(Controller Area Network)-Bus oder LIN(Local Interconnect Network)-Bus kommuniziert, so dass ein Lenkwinkel-Deskriptor empfangen werden kann, wobei auch ein anderes Interface einsetzbar ist. Aus diesem Grund umfasst das Kamerasystem einen Interface-Transceiver und einen Interface-Controller. Der Interface-Controller umfasst für gewöhnlich einen Mikroprozessor mit einer Verarbeitungsleistung, die zur Unterstützung der Eingabe/Ausgabe-Funktionen und Grundberechnungen gerade ausreicht, ein RAM (Random Access Memory) für Programme und Daten und einen nichtflüchtigen Speicher (ROM, Flash) zum Speichern des Programmcodes und der Daten (Parameter).
  • Um ein angezeigtes Bild mit dynamischem Overlay zu erzeugen, umfasst das Kamerasystem eine Bildverarbeitungseinrichtung. Diese Einrichtung empfängt das durch den Bildsensor erfasste Bild, fügt den anzuzeigenden Overlay hinzu und überträgt das resultierende Bild, typischerweise als Analogsignal, NTSC oder PAL, an den Monitor.
  • Um das Overlay-Bild zu generieren, empfängt die Bildverarbeitungseinrichtung den Lenkwinkel-Deskriptor vom Interface-Controller über I2C (Inter-Integrated-Circuit serieller Datenbus) oder jedes beliebige andere Interface. Dann wird gemäß dem Lenkwinkel die Position der den Fahrkorridor auf dem Bild darstellenden Markierungen durch die Bildverarbeitungseinrichtung berechnet und in das vom Bildsensor empfangene Bild eingeblendet.
  • Ein typisches Einzelbild des auf dem Monitor angezeigten Videos enthält ungefähr 350.000 Elemente (Pixel). Aus diesem Grund muss die Bildverarbeitungseinrichtung imstande sein, diese Elementeanzahl mit der erforderlichen Bildfrequenz, für gewöhnlich etwa 30 Einzelbilder pro Sekunde, zu verarbeiten.
  • Derzeit gibt es drei Bauelementgruppen mit ausreichender Verarbeitungsleistung: DSP (Digital Signal Processor), FPGA (Field Programmable Gate Array), CPLD (Complex Programmable Logic Device) und ASIC (Application Specific Integrated Circuit).
  • Ein Beispiel für eine Kamerasystemausführung gemäß dem Stand der Technik ist in der 4 dargestellt. Das System umfasst zwei Teile, d. h. eine Kameraeinheit 100 und eine elektronische Steuereinheit (ECU) 200.
  • Die ECU 200 umfasst eine Bildverarbeitungseinrichtung (DSP, FPGA, CPLD oder ASIC) 204, einen Interface-Transceiver 201, einen Interface-Controller 202, einen Analogsignal-Decoder 203 und einen Analogsignal-Encoder 205.
  • Die Kameraeinheit 100 gibt das vom Bildsensor 101 empfangene Bild als Analogsignal (typischerweise NTSC/PAL) aus, das über einen Analogsignal-Encoder 102 an die ECU 200 übertragen wird.
  • Der Analogsignal-Decoder 203 der ECU 200 wandelt das Signal, das von der Bildverarbeitungseinrichtung 204 weiterverarbeitet wird, in ein Digitalsignal um. Der Lenkwinkel-Deskriptor wird vom Interface-Transceiver 201 empfangen und an den Interface-Controller 202 übertragen. Der Interface-Controller 202 überträgt wiederum die entsprechenden Daten an die Bildverarbeitungseinrichtung 204. Die Bildverarbeitungseinrichtung 204 generiert basierend auf diesen Daten entsprechende Fahrkorridormarkierungen, blendet diese in das Bild, das durch die von der ECU 200 separat angeordnete Kameraeinheit 100 empfangen wird, ein und überträgt das resultierende Bild an den Analogsignal-Encoder 205, der das Bild in ein Analogsignal umwandelt und an den Monitor überträgt.
  • Ein üblicherweise eingesetztes Verfahren des Stands der Technik zur Generierung der Fahrkorridormarkierungen verläuft wie folgt (5): Die das Overlay darstellenden Bitmaps, für gewöhnlich ein Bitmap pro Lenkwinkelwert, sind in dem nichtflüchtigen Speicher der ECU 200 gespeichert. Die Bildverarbeitungseinrichtung 204 empfängt den Lenkwinkelwert vom Interface-Controller 202, liest das entsprechende Bitmap aus dem nichtflüchtigen Speicher in das RAM ein und blendet dieses in das Bild ein, das von dem in der separat angeordneten Kameraeinheit 100 angeordneten Bildsensor 101 empfangen wird.
  • Es ist zu beachten, dass der zum Speichern der Overlay-Bitmaps, die den gesamten Lenkwinkelbereich abdecken, erforderliche nichtflüchtige Speicherplatz relativ groß ist, wodurch die Gesamtgröße und Kosten des Systems erhöht werden.
  • Die größten Nachteile der herkömmlichen Ausgestaltung sind wie folgt:
    • 1. Das Kamerasystem umfasst zumindest zwei separat angeordnete Einrichtungen (Kameraeinheit und ECU), da es aufgrund der Vorgaben hinsichtlich der Kameragröße nicht möglich ist, die Bildverarbeitungseinrichtung mit ausreichend hoher Verarbeitungsleistung und/oder ausreichend großem nichtflüchtigen Speicherplatz zum Speichern der Overlay-Bitmaps in die Kameraeinheit einzubauen. Die Verwendung mehrerer Einrichtungen führt zu einer gesteigerten Systemkomplexität, höheren Kosten, höheren Gesamtabmessungen, höherem Gewicht etc.
    • 2. Das von der Kameraeinheit empfangene Bild wird über ein Analogsignal an die ECU übertragen, da ein digitales Interface des Stands der Technik aufgrund der beträchtlichen Entfernung zwischen Kameraeinheit und ECU nicht hinreichend widerstandsfähig gegen Rauschen ist, mehr als zwei Leitungen erfordert oder über eine nur unzureichende Bitrate verfügt. Aufgrund der für ein analoges Interface erforderlichen mehrfachen Digital-Analog- und Analog-Digital-Umwandlungen wird die Bildqualität jedoch erheblich verschlechtert.
  • Aus der DE 100 64 036 B4 geht eine rückwärtige Anzeigevorrichtung mit Fahrkorridor-Anzeigefunkion für ein Fahrzeug hervor, bei der eine Kamera ein außerhalb des Fahrzeugs dargestelltes Bild aufnimmt, und eine Bildverarbeitungseinrichtung basierend auf einem Lenkwinkel eine Fahrkorridormarkierung in das aufgenommene Bild einblenden kann. Die Bildverarbeitungseinrichtung basiert auf einer Mikroprozessoreinheit, in der eine CPU die Fahrkorridormarkierung berechnet. Die Bildverarbeitungseinrichtung ist mit einer Monitoreinrichtung kombiniert und Kameraeinheit und Bildverarbeitungseinrichtung sind getrennt voneinander angeordnet, wobei die Fahrkorridormarkierung erst nach Übertragung des Bildes der weit entfernten Kamera zur Monitoreinrichtung in das Bild eingeblendet wird.
  • In der DE 101 38 719 A1 wird ein Verfahren und eine Vorrichtung zur Darstellung von Fahrhinweisen, insbesondere zur Darstellung der Längs- und Querneigung eines Fahrzeugs bezüglich einer Straßenoberfläche beschrieben. Hierzu wird die Fahrtroute auf einem Geländemodell als Bézierkurve dargestellt.
  • Daneben geht aus der DE 42 44 462 A1 ein Realtime-Verfahren zur Generierung von ebenen technischen Kurven oder Konturen zur Darstellung technischer Bilder, insbesondere für technische Entwurfsysteme der Maschinen-, Automobilindustrie oder der Mikroelektronik hervor, das auf einer Rasterung parametrischer rationaler oder polynomialer kubischer Bezierkurven beruht.
  • Vorteile der Erfindung
  • Ein Vorteil des vorliegenden erfinderischen Konzepts besteht darin, dass eine Kameraeinheit bereitgestellt wird, mit der die Fahrkorridor-Anzeigefunktion ohne externe ECU ermöglicht wird.
  • Ein Aspekt des vorliegenden erfinderischen Konzepts besteht darin, dass die Aufgabe der Generierung der Fahrkorridormarkierungen zwischen dem Interface-Controller und der Bildverarbeitungseinrichtung aufgeteilt ist. Dadurch wird es möglich, die Bildverarbeitungseinrichtung hinreichend klein auszuführen, so dass sie in das Gehäuse der Kameraeinheit einpassbar ist.
  • Ein weiterer Aspekt des vorliegenden erfinderischen Konzepts besteht darin, dass es durch das Verfahren zur Generierung des Fahrkorridors ermöglicht wird, durch einen Mikroprozessor mit geringer Verarbeitungsleistung, beispielsweise einen in dem Interface-Controller eingebauten Mikroprozessor, und unter Verwendung des in einem typischen Interface-Controller verfügbaren RAMs Berechnungen vorzunehmen.
  • Ein weiterer Aspekt des vorliegenden erfinderischen Konzepts besteht darin, dass die Anzahl der zur Generierung der Fahrkorridormarkierungen erforderlichen Parameter klein genug ist, so dass diese in den im Interface-Controller verfügbaren beschränkten nichtflüchtigen Speicherplatz passen.
  • Ein weiterer Aspekt des vorliegenden erfinderischen Konzepts beseht darin, dass die zwischen dem Interface-Controller und der Bildverarbeitungseinrichtung übertragene Datenmenge für ein standardmäßiges, üblicherweise verwendetes Interface, beispielsweise I2C, klein genug ist, wobei innerhalb des Umfangs der vorliegenden Erfindung auch ein anderes Interface einsetzbar ist.
  • Ein weiterer Vorteil des vorliegenden erfinderischen Konzepts besteht darin, dass es ermöglicht wird, das vom Bildsensor empfangene Bild über ein standardmäßiges, üblicherweise verwendetes digitales Interface, beispielsweise ein 8/10-Bit-Parallelinterface, an die Bildverarbeitungseinrichtung zu übertragen. Dadurch ergibt sich aufgrund des Nichtvorhandenseins mehrfacher Digital-Analog- und Analog-Digital-Umwandlungen eine verbesserte Bildqualität. Dadurch wird zudem ermöglicht, dass bei der Architektur des Kamerasystems auf den Analogsignal-Decoder und den Analogsignal-Encoder verzichtet werden kann, so dass das Kamerasystem weniger komplex und kostenintensiv ausgeführt ist.
  • Ein weiterer Vorteil des vorliegenden erfinderischen Konzepts besteht darin, dass Einstellungen des angezeigten Fahrkorridors durch Ändern der Parameter, die in dem nichtflüchtigen Speicher gespeichert sind und die zur Generierung des angezeigten Bildes verwendet werden, vorgenommen werden können.
  • Weitere Aspekte und Vorteile des vorliegenden allgemeinen erfinderischen Konzepts werden teilweise durch die folgende Beschreibung erläutert und werden teilweise durch die Beschreibung offensichtlich oder können durch Umsetzung des allgemeinen erfinderischen Konzepts erkannt werden.
  • Ein Aspekt des vorliegenden erfinderischen Konzepts besteht darin, dass eine Kameraeinheit mit Fahrkorridor-Anzeigefunktion für ein Fahrzeug bereitgestellt ist, die Folgendes umfasst: einen Bildsensor, der zur Gewinnung eines Bilds von außerhalb des Fahrzeugs eingerichtet ist; einen Interface-Controller zur Verbindung der Kameraeinheit mit anderen Fahrzeugeinrichtungen und zum Empfang eines Lenkwinkel- Deskriptors, der zur Generierung einer Vielzahl von Knotenpunkten eines Fahrkorridorbilds für einen erforderlichen Lenkwinkel eingerichtet ist, wobei die Vielzahl von Knotenpunkten als Punkte auf einer Bézierkurve berechnet wird; und eine Bildverarbeitungseinrichtung, die zur Generierung von Fahrkorridormarkierungen und zur Einblendung der Fahrkorridormarkierungen in dem vom Bildsensor übertragenen Bild eingerichtet ist, wobei die Fahrkorridormarkierungen in der Bildverarbeitungseinrichtung basierend auf den Koordinaten der Knotenpunkte, die vom Interface-Controller übertragen werden, berechnet und durch Verbinden der nebeneinanderliegenden Knotenpunkte anhand von Liniensegmenten generiert werden, und wobei der Bildsensor, der Interface-Controller und die Bildverarbeitungseinrichtung in einer einzigen Kameraeinheit umfasst sind.
  • Die Vielzahl der Knotenpunkte kann durch die folgende quadratische Bézierkurvengleichung berechnet werden: X(t) = X0(1 – t)2 + X12t(1 – t) + X2t2 Y(t) = Y0(1 – t)2 + Y12t(1 – t) + Y2t2 wobei X0, Y0, X1, Y1, X2, und Y2 die Koordinaten von Kontrollpunkten sind, und wobei t ein Parameter innerhalb des Bereichs von [0, 1] ist.
  • Die Vielzahl der Knotenpunkte kann durch die folgende kubische Bézierkurvengleichung berechnet werden: X(t) = X0(1 – t)3 + X13t(1 – t)2 + + X23t2(1 – t) + X3t3 Y(t) = Y0(1 – t)3 + Y13t(1 – t)2 + + Y23t2(1 – t) + Y3t3 wobei X0, Y0, X1, Y1, X2, Y2, X3, und Y3 die Koordinaten von Kontrollpunkten sind, und wobei t ein Parameter innerhalb des Bereichs von [0, 1] ist.
  • Die Vielzahl der Knotenpunkte kann aus einem Satz von Kontrollpunkten der Bézierkurve für einen erforderlichen Lenkwinkel berechnet werden und die mehreren Kontrollpunkte können in einem nichtflüchtigen Speicher des Interface-Controllers in Form einer Lookup-Tabelle gespeichert werden.
  • Die Kontrollpunkte der Bézierkurve für den erforderlichen Lenkwinkel können unter Verwendung einer linearen Interpolation zwischen den von der Lookup-Tabelle ausgelesenen Werten berechnet werden.
  • Die die nebeneinanderliegenden Knotenpunkte verbindenden Liniensegmente der mehreren Knotenpunkte, die vom Interface-Controller berechnet und übertragen werden, können unter Verwendung des Bresenham-Linienalgorithmus berechnet werden.
  • Die Kameraeinheit für ein Fahrzeug kann des Weiteren einen Interface-Transceiver, der zum Empfang und zur Übertragung eines Signals entsprechend einem veränderlichen Lenkwinkel eingerichtet ist, umfassen, wobei der Interface-Transceiver vom Interface-Controller getrennt angeordnet sein kann, oder Teil des Interface-Controllers sein kann.
  • Die Kameraeinheit für ein Fahrzeug kann ferner einen Analogsignal-Encoder, der zur Übertragung des empfangenen Bilds mit den darauf eingeblendeten Fahrkorridormarkierungen an eine externe Anzeigeeinrichtung eingerichtet ist, umfassen, wobei der Analogsignal-Encoder außerhalb der Bildverarbeitungseinrichtung getrennt angeordnet sein kann oder Teil der Bildverarbeitungseinrichtung sein kann.
  • Ein weiterer Aspekt des vorliegenden erfinderischen Konzepts besteht darin, dass ein Verfahren zur Anzeige einer vorausberechneten Fahrzeugtrajektorie unter Verwendung einer Kameraeinheit nach einem der vorgenannten Ansprüche bereitgestellt wird, umfassend die Schritte: Erfassen einer Fahrzeuglenkwinkeländerung; Auslesen oder Berechnen eines Satzes von Kontrollpunkten einer Bézierkurve gemäß der Lenkwinkeländerung, und Berechnen einer Vielzahl von Knotenpunkten unter Verwendung der Bézierkurvengleichung, wobei die Vielzahl von Kno tenpunkten zur Generierung einer Fahrkorridorlinie basierend auf dem ausgelesenen oder berechneten Satz von Kontrollpunkten verwendet wird; Berechnen der Liniensegmente und Verbinden der nebeneinanderliegenden Knotenpunkte anhand der Liniensegmente, und Einblenden eines Overlays der Liniensegmente in ein Bild, das von einem Bildsensor empfangen wird, und Anzeigen des eingeblendeten Bilds auf einer externen Anzeigeeinrichtung, wobei sowohl die Berechnung der Vielzahl von Knotenpunkten als auch die Berechnung der Liniensegmente in einer einzigen Kameraeinheit vorgenommen werden.
  • Die Vielzahl der Knotenpunkte kann durch die folgende quadratische Bézierkurvengleichung berechnet werden: X(t) = X0(1 – t)2 + X12t(1 – t) + X2t2 Y(t) = Y0(1 – t)2 + Y12t(1 – t) + Y2t2 wobei X0, Y0, X1, Y1, X2, und Y2 die Koordinaten von Kontrollpunkten sind, und wobei t ein Parameter innerhalb des Bereichs von [0, 1] ist.
  • Die Vielzahl der Knotenpunkte kann durch die folgende kubische Bezierkurvengleichung berechnet werden: X(t) = X0(1 – t)3 + X13t(1 – t)2 + + X23t2(1 – t) + X3t3 Y(t) = Y0(1 – t)3 + Y13t(1 – t)2 + + Y23t2(1 – t) + Y3t3 wobei X0, Y0, X1, Y1, X2, Y2, X3, und Y3 die Koordinaten von Kontrollpunkten sind, und wobei t ein Parameter innerhalb des Bereichs von [0, 1] ist.
  • Der Satz von Kontrollpunkten der Bézierkurve für einen erforderlichen Lenkwinkel kann in einem nichtflüchtigen Speicher des Interface-Controllers in Form einer Lookup-Tabelle gespeichert werden, wobei in dem Fall, wenn die Lookup-Tabelle die für den erforderlichen Lenkwinkel benötigten Daten nicht enthält, die Kontrollpunkte der Bézierkurve unter Verwendung einer linearen Interpolation zwischen den in der Lookup-Tabelle gespeicherten Werten berechnet werden.
  • Die Berechnung des Knotenpunkts kann in einem Interface-Controller unter Verwendung einer Bézierkurvengleichung vorgenommen werden, und die Berechnung der Liniensegmente kann in einer Bildverarbeitungseinrichtung unter Verwendung des Bresenham-Linienalgorithmus vorgenommen werden.
  • Ein weiterer Aspekt des vorliegenden erfinderischen Konzepts besteht darin, dass ein System zur Generierung von Fahrkorridormarkierungen, die durch Einblendung in ein Bild der Fahrzeugperipherie angezeigt werden, bereitgestellt wird, wobei die Fahrkorridormarkierungen dynamisch veränderlich sind und in das Bild eingeblendet werden, das von einem Bildsensor in der Kameraeinheit gemäß einer Lenkwinkeländerung empfangen wird, wobei die dynamische Änderung der Markierungen durch Berechnen der Koordinaten einer Vielzahl von Knotenpunkten mittels eines Interface-Controllers, der zur Verbindung der Kameraeinheit mit anderen Fahrzeugeinrichtungen und zum Empfang eines Lenkwinkel-Deskriptors dient, gemäß der folgenden entweder quadratischen oder kubischen Bézierkurvengleichung und durch Berechnen der die Vielzahl von Knotenpunkten verbindenden Liniensegmente berechnet wird. X(t) = X0(1 – t)2 + X12t(1 – t) + X2t2, oder Y(t) = Y0(1 – t)2 + Y12t(1 – t) + Y2t2 X(t) = X0(1 – t)3 + X13t(1 – t)2 + + X23t2(1 – t) + X3t3 Y(t) = Y0(1 – t)3 + Y13t(1 – t)2 + + Y23t2(1 – t) + Y3t3 wobei X0, Y0, X1, Y1, X2, Y2, X3, und Y3 die Koordinaten von Kontrollpunkten sind, und wobei t ein Parameter innerhalb des Bereichs von [0, 1] ist, und eine Bildverarbeitungseinrichtung Fahrkorridormarkierungen auf Basis der Koordinaten der Kontrollpunkte in das vom Bildsensor über tragene Bild einblendet, und wobei sowohl der Interface-Controller als auch die Bildverarbeitungseinrichtung in einer einzigen Kameraeinheit umfasst sind.
  • Die Vielzahl der Knotenpunkte kann aus einem Satz von Kontrollpunkten der Bézierkurve gemäß einer Lenkwinkeländerung berechnet werden.
  • Die Vielzahl der Knotenpunkte kann durch einen außerhalb einer Bildverarbeitungseinrichtung angeordneten Interface-Controller berechnet werden.
  • Das Verbinden der Vielzahl von Knotenpunkten anhand der Liniensegmente kann durch die Bildverarbeitungseinrichtung vorgenommen werden.
  • Kurzbeschreibung der Zeichnungen
  • Diese und/oder weitere Aspekte und Vorteile des vorliegenden allgemeinen erfinderischen Konzepts werden offensichtlich und können anhand der folgenden Beschreibung der Ausführungsformen in Verbindung mit den beiliegenden Zeichnungen besser erkannt werden, wobei:
  • 1 ein Fahrzeug mit angebrachter Kameraeinheit und dem auf dem Monitor angezeigten Bild darstellt;
  • 2 das Bild mit den die Fahrzeugabmessungen darstellenden Markierungen zeigt (statischer Overlay);
  • 3A, 3B und 3C das Bild mit den Markierungen zeigen, die den Fahrkorridor für einen Lenkwinkel mit –20°, 0° und +20° darstellen;
  • 4 ein Blockdiagramm einer Kamerasystemausführung gemäß dem Stand der Technik zeigt;
  • 5 ein Flussdiagramm eines dynamischen Overlay-Verfahrens gemäß dem Stand der Technik zeigt;
  • 6 die Approximation der Fahrkorridormarkierungen durch kubische Bézierkurven, die durch Koordinaten ihrer Kontrollpunkte definiert sind, darstellt;
  • 7 ein Blockdiagramm der Kameraeinheit gemäß der vorliegenden Erfindung ist;
  • 8 ein Flussdiagramm des dynamischen Overlay-Verfahrens gemäß der vorliegenden Erfindung ist;
  • 9 die Fahrkorridormarkierungen, die durch Verbinden der Knotenpunkte anhand der Liniensegmente generiert werden, darstellt;
  • 10 ein Beispiel der Fahrkorridormarkierungen, die durch das Verfahren gemäß der vorliegenden Erfindung generiert werden, darstellt.
  • Detaillierte Beschreibung bevorzugter Ausführungsformen
  • Das vorliegende erfinderische Konzept soll nachfolgend unter Bezugnahme auf die beiliegenden Zeichnungen, in denen beispielhafte Ausführungsformen der Erfindung dargestellt sind, im Detail erläutert werden. Das vorliegende erfinderische Konzept kann allerdings auf verschiedene Art und Weise ausgestaltet sein und ist keinesfalls auf die nachfolgenden Ausführungsformen beschränkt auszulegen. Diese Ausführungsformen sind vielmehr zum Zwecke einer möglichst umfangreichen und vollständigen Beschreibung der vorliegenden Offenbarung bereitgestellt, wobei sich das erfinderische Konzept dem Fachmann vollumfänglich erschließen soll. In der folgenden Beschreibung wird auf eine detaillierte Beschreibung bekannter Funktionen und Ausführungen verzichtet, da die Erfindung dadurch mit überflüssigen Details verwässert würde.
  • Obwohl Begriffe wie „erste/r” und „zweite/r” zur Bezeichnung unterschiedlicher Elemente verwendet werden, sollen die betreffenden Elemente nicht auf die oben genannten Begriffe beschränkt sein. Diese Begriffe dienen lediglich zur Unterscheidung einzelner Elemente.
  • Die in der vorliegenden Erfindung verwendeten Begriffe dienen ausschließlich zum Zwecke der Beschreibung spezieller Ausführungsformen und sollen die beispielhaften Ausführungsformen keinesfalls beschränken. Gemäß der Verwendung in der vorliegenden Erfindung sollen mit den Singularformen „ein” „eine” und „der/die/das” auch die Pluralformen mit einbezogen sein, sofern sich aus dem Kontext nicht ausdrücklich Gegenteiliges ergibt. Es ist ferner zu berücksichtigen, dass die Begriffe „umfassen” und/oder „umfassend” bei Verwendung in dieser Beschreibung das Vorhandensein der angeführten Merkmale, Zahlen, Schritte, Funktionen, Elemente, Komponenten und/oder Gruppen davon angeben, aber das Vorhandensein oder die Aufnahme eines oder mehrerer Merkmale, Zahlen, Schritte, Funktionen, Elemente, Komponenten und/oder Gruppen davon nicht ausschließen.
  • Nachfolgend soll die detaillierte Beschreibung der Erfindung in Form ihrer bevorzugten Ausführungsform dargelegt werden.
  • Gemäß der bevorzugten Ausführungsform der Erfindung werden die in das Bild, das durch den Bildsensor erfasst wird, einzublendenden Fahrkorridormarkierungen durch eine Vielzahl von quadratischen oder kubischen Bézierkurven, wie in der 6 dargestellt, approximiert. 6 stellt die Approximation der Fahrkorridormarkierungen mit den kubischen Bézierkurven, die durch die Koordinaten ihrer drei (3) Kontrollpunkte definiert sind, dar.
  • Die Kameraeinheit 10 ist fahrzeugfront- oder -rückseitig, beispielsweise auf dem Abschlussblech, der Heckklappe oder dem Kühlergrill angeordnet. Die Kameraeinheit 10 umfasst ein optisches System (beispielsweise eine Linse), zumindest einen Bildsensor 13, eine Bildverarbeitungseinrichtung 14, einen Interface-Transceiver 11, einen Interface-Controller 12 und einen Analogsignal-Encoder 15 (7). Es sind allerdings auch andere Ausführungen möglich, beispielsweise eine Ausführung, bei der der Interface-Controller 12 und der Interface-Transceiver 11 in der gleichen Einrichtung umfasst sind, oder bei der der Analogsignal- Encoder 15 einen Teil der Bildverarbeitungseinrichtung 14 bildet, etc. Alle derartigen Modifikationen sollen für den Fachmann offensichtlich sein und können ohne Abweichung vom Umfang des vorliegenden erfinderischen Konzepts realisiert werden.
  • Der Blickwinkel des in der Kameraeinheit 10 aufgenommenen optischen Systems deckt einen bestimmten hinter oder vor dem Fahrzeug befindlichen Bereich ab. Der Bildsensor 13 erfasst das Bild, das durch das optische System auf seine Oberfläche projiziert wird. Das digitalisierte Bild wird über ein üblicherweise verwendetes digitales Interface, beispielsweise ein 8/10-Bit-Parallelinterface oder ein serielles Interface, an die Bildverarbeitungseinrichtung 14 übertragen.
  • Der Lenkwinkel-Deskriptor wird über ein Bus-Interface (typischerweise CAN/LIN-Bus) übertragen und vom Interface-Transceiver 11 empfangen. Anschließend wird der Deskriptor an den Interface-Controller 12 übertragen.
  • Der Interface-Controller 12 umfasst einen Mikroprozessor, RAM und einen nichtflüchtigen Speicher, beispielsweise einen ROM oder Flash-Speicher.
  • Es werden für jeden Lenkwinkeldeskriptorwert mehrere Parameter im nichtflüchtigen Speicher gespeichert. Wenn der Lenkwinkelwertbereich beispielsweise –35°...+35° mit einem Inkrement von 5° beträgt, werden im nichtflüchtigen Speicher 15 Parameter gespeichert. Für die Lenkwinkelwerte, die zwischen die vorgegebenen Werte fallen, werden die Parameter unter Verwendung einer linearen Interpolation berechnet.
  • Der Interface-Controller 12 wählt mehrere Parameter gemäß dem Lenkwinkel-Deskriptor, der vom Interface-Transceiver 11 empfangen wird, aus.
  • Die mehreren Parameter, die in dem nichtflüchtigen Speicher gespeichert sind, umfassen x- und y-Koordinaten der Kontrollpunkte.
  • Die Kontrollpunkte definieren eine oder mehrere Bézierkurven gemäß der folgenden Gleichung: X(t) = X0(1 – t)2 + X12t(1 – t) + X2t2 Y(t) = Y0(1 – t)2 + Y12t(1 – t) + Y2t2(1) wobei X0, Y0, X1, Y1, X2, und Y2 die Koordinaten von Kontrollpunkten sind, und wobei t ein Parameter innerhalb des Bereichs von [0, 1] ist.
  • Gemäß einer weiteren Ausführungsform der Erfindung kann anstelle der quadratischen Bézierkurve eine kubische Bézierkurve verwendet werden. In diesem Fall gilt die folgende Gleichung: X(t) = X0(1 – t)3 + X13t(1 – t)2 + + X23t2(1 – t) + X3t3 Y(t) = Y0(1 – t)3 + Y13t(1 – t)2 + + Y23t2(1 – t) + Y3t3 (2)wobei X0, Y1, X1, Y1, X2, Y2, X3, und Y3 die Koordinaten von Kontrollpunkten sind, und wobei t ein Parameter innerhalb des Bereichs von [0, 1] ist.
  • Der vom Interface-Controller 12 umfasste Mikroprozessor berechnet die X- und Y-Werte unter Verwendung der Gleichung (1) oder (2) für jede Bézierkurve. Der Parameter t ist variiert mit einem bestimmten vordefinierten Inkrement zwischen 0 und 1. Wenn das Inkrement beispielsweise 1/10 beträgt, werden 11 Knotenpunkte, die durch ihre Koordinaten auf dem Bild X und Y definiert sind, für jede Bézierkurve berechnet.
  • Es ist zu beachten, dass in dem Fall, wenn die Gleichungen (1) und (2) lediglich einfache Funktionen – Multiplikation und Addition – enthalten und die Anzahl der Knotenpunkte relativ klein gehalten werden kann (10–20 Knotenpunkte pro Bézierkurve reichen zur Approximation des Fahrkorridors mit ausreichend hoher Genauigkeit aus), der in nahezu jedem derzeit verfügbaren Interface-Controller enthaltene Mikroprozessor imstande ist, die Berechnungen innerhalb weniger Millisekunden und hinreichend schnell vorzunehmen, so dass die erforderliche Bildfrequenz mit 30 Einzelbildern pro Sekunde unterstützt werden kann.
  • Es ist zudem zu beachten, dass die in dem nichtflüchtigen Speicher zu speichernde Parameteranzahl pro quadratischer Bézierkurve nicht mehr als 6 und pro kubischer Bézierkurve nicht mehr als 8 beträgt. Folglich können die Parameter im nichtflüchtigen Speicher, der in nahezu jedem Interface-Controller des Stands der Technik verfügbar ist, gespeichert werden.
  • Die berechneten Koordinaten der Knotenpunkte werden an die Bildverarbeitungseinrichtung 10 über das I2C-Interface, oder über jedes beliebige andere Interface, das den Interface-Controller 12 und die Bildverarbeitungseinrichtung 14 verbindet, übertragen. Wenn die Anzahl der Knotenpunkte relativ klein ist, reicht die Bitrate von nahezu jedem Bus-Interface einschließlich I2C des Stands der Technik aus, um die Daten innerhalb einer Einzelbilddauer zu übertragen.
  • Die Bildverarbeitungseinrichtung 14 mit vorzugsweise kleinem FPGA-, CPLD- oder ASIC-Formfaktor, generiert die Fahrkorridormarkierungen unter Verwendung der Knotenpunkte, die vom Interface-Controller 12 bestimmt werden, wie in der 9 dargestellt. In der bevorzugten Ausführungsform der Erfindung wird der weithin bekannte Bresenham-Linienalgorithmus zur Verbindung der Knotenpunkte anhand der Liniensegmente verwendet. Es können allerdings auch mehrere andere Algorithmen innerhalb des Umfangs der vorliegenden Erfindung verwendet werden.
  • Sofern die Hardware-Implementierung des Bresenham-Linienalgorithmus keine hohe logische Komplexität erfordert, können für die Bildverarbeitungseinrichtung dicht gepackte kostengünstige Bauelemente verwendet werden.
  • Andererseits erfordert der Bresenham-Linienalgorithmus für die Berechnung keine hohe Verarbeitungsleistung, so dass dicht gepackte, kostengünstige DSP-Bauelemente zur DSP-Implementierung der Bildverarbeitungseinrichtung verwendet werden können.
  • Abschließend werden die generierten Liniensegmente durch die Bildverarbeitungseinrichtung 14 in das durch den Sensor 13 empfangene Bild eingeblendet. Das resultierende Bild wird an den Analogsignal-Encoder 15 übertragen, in eine analoge Form umgewandelt, an den Monitor übertragen und angezeigt.
  • Ein Flussdiagramm des Verfahrens ist in der 8 dargestellt. Dabei zeigt 8 ein Flussdiagramm des dynamischen Overlay-Verfahrens gemäß der vorliegenden Erfindung.
  • Zunächst wird, wie in der 8 dargestellt, ein bestimmter Fahrzeuglenkwinkel vom CAN/LIN empfangen.
  • Anschließend ist zu bestimmen, ob sich der Lenkwinkel nach der letzten Iteration verändert hat.
  • Falls sich der Lenkwinkel nach der letzten Iteration verändert hat, werden Kontrollpunkte der Bézierkurven aus dem nichtflüchtigen Speicher in den Interface-Controller 12 eingelesen, und die Knotenpunkte für die Fahrkorridorlinien werden dann basierend auf den ausgelesenen Kontrollpunkten und auf einer der vorstehend definierten Gleichungen (1) und (2) berechnet. Jedoch wird die vorgenannte Berechnung bei unverändertem Lenkwinkel nicht vorgenommen.
  • Auf diese Weise berechnete Knotenpunkte werden an die Bildverarbeitungseinrichtung 14 übertragen und in der selben Einrichtung 14 unter Verwendung des Bresenham-Linienalgorithmus zur Generierung des Overlays miteinander verbunden.
  • Abschließend wird das Overlay in das durch den Sensor 13 erfasste Bild eingeblendet.
  • Die Einstellung der Kamera wird für gewöhnlich nach Installation im Fahrzeug durchgeführt, um Fehlstellungen der Bauelemente, Befestigungselemente und der Baugruppe zu kompensieren, so dass die Abweichung des angezeigten Fahrkorridors von der echten Trajektorie so gering wie möglich ist. Gemäß der bevorzugten Ausführungsform der Erfindung kann die Einstellung derart vorgenommen werden, dass die Kontrollpunkte der in dem nichtflüchtigen Speicher gespeicherten Bézierkurven verändert werden. Dies kann beispielsweise durch Verwendung einer Test-/Einstelltabelle durchgeführt werden. Die notwendigen Berechnungen können durch die externe Einrichtung, beispielsweise einen Computer, oder durch die in der Kamera umfasste Bildverarbeitungseinrichtung vorgenommen werden.
  • [Beispiel einer bevorzugten Ausführungsform]
  • Ausgehend von der Annahme, dass der Lenkwinkel zwischen –35° und +35° variiert und 0° der Geradeausbewegung des Fahrzeugs entspricht, die Bildgröße 720×480 Pixel beträgt und in der oberen linken Ecke des Bildschirms ihren Ursprung hat, werden die Fahrkorridormarkierungen durch zwei quadratische Bézierkurven approximiert, deren Kontrollpunkte für jedes fünfte Lenkwinkelgrad angegeben werden:
    Figure 00200001
    Figure 00210001
  • Die Parameter (Koordinaten der Kontrollpunkte) werden in dem nichtflüchtigen Speicher des Interface-Controllers 12 in Form einer Lookup-Tabelle mit nicht mehr als 15 Einträgen gespeichert. Der Gesamtinhalt der Lookup-Tabelle umfasst 180 Werte (15 Einträge, 12 Werte je Eintrag) oder 360 Byte (unter der Annahme, dass jeder Wert 2 Byte Speicherplatz benötigt).
  • Es sei angenommen, dass ein neuer Lenkwinkelwert, der durch den Interface-Transceiver 11 an den Interface-Controller 12 übertragen wird, 22° beträgt. Wenn in der Lookup-Tabelle kein entsprechender Wert enthalten ist, liest der Controller 12 die Parameter für 20° und 25° aus (entspricht Parametersatz 12 und 13).
  • Die Kontrollpunkte der Bézierkurven für den erforderlichen Lenkwinkel werden unter Verwendung einer linearen Interpolation zwischen den von der Lookup-Tabelle ausgelesenen Werten berechnet:
    X0 Y0 X1 Y1 X2 Y2
    Bézierkurve 1 (links)
    72 440 295 163 438 153
    Bézierkurve 2 (rechts)
    656 440 493 225 566 184
  • Unter Verwendung der Gleichung (1) werden die Koordinaten der Knotenpunkte durch den Interface-Controller 12 berechnet. Ausgehend von der Annahme, dass der Parameter t zwischen 0 und 1 mit einem Inkrement von 0,1 liegt, werden damit die Koordinaten der 11 Knotenpunkte für jede der beiden Bézierkurven berechnet:
    Figure 00220001
  • Anschließend werden die 44 Koordinaten der Knotenpunkte über das I2C-Interface an die Bildverarbeitungseinrichtung 14 (kleiner FPGA-Chip) übertragen. Die gegenüberliegenden Knotenpunkte werden unter Verwendung der Hardware-Implementierung des Bresenham-Linienalgorithmus, beschrieben in [J. E. Bresenham, ”Algorithm for computer control of a digital Plotter”, IBM Systems Journal, 4. Aufl., Nr. 1, Januar 1965, S. 25–30], anhand der Liniensegmente verbunden, so dass das Overlay-Bild generiert wird. Das Ergebnis ist in der 10 dargestellt. Das Overlay-Bild wird wiederum in das Bild eingeblendet, das vom Sensor empfangen wird, und das resultierende Bild wird dem Fahrer angezeigt.
  • Obwohl einige Ausführungsformen des vorliegenden allgemeinen erfinderischen Konzepts dargestellt und erläutert wurden, können vom Fachmann Änderungen in diesen Ausführungsformen vorgenommen werden, ohne von den Prinzipien und dem Boden des allgemeinen erfinderischen Konzepts abzuweichen, dessen Umfang in den beigefügten Ansprüchen und ihren Entsprechungen dargelegt ist.
  • Eine Vielzahl von weiteren Ausführungsformen fällt in den Umfang des vorliegenden erfinderischen Konzepts.

Claims (17)

  1. Kameraeinheit mit Fahrkorridor-Anzeigefunktion für ein Fahrzeug umfassend: einen Bildsensor, der zur Gewinnung eines Bildes von außerhalb des Fahrzeugs eingerichtet ist; einen Interface-Controller zur Verbindung der Kameraeinheit mit anderen Fahrzeugeinrichtungen und zum Empfang eines Lenkwinkel-Deskriptors, der zur Generierung einer Vielzahl von Knotenpunkten eines Fahrkorridorbilds für einen erforderlichen Lenkwinkel eingerichtet ist, wobei die Vielzahl von Knotenpunkten als Punkte auf einer Bézierkurve berechnet wird; und eine Bildverarbeitungseinrichtung, die zur Generierung von Fahrkorridormarkierungen und zur Einblendung der Fahrkorridormarkierungen in dem vom Bildsensor übertragenen Bild eingerichtet ist, wobei die Fahrkorridormarkierungen in der Bildverarbeitungseinrichtung basierend auf den Koordinaten der Knotenpunkte, die vom Interface-Controller übertragen werden, berechnet und durch Verbinden der nebeneinanderliegenden Knotenpunkte anhand von Liniensegmenten generiert werden, und wobei der Bildsensor, der Interface-Controller und die Bildverarbeitungseinrichtung in einer einzigen Kameraeinheit umfasst sind.
  2. Kameraeinheit für ein Fahrzeug nach Anspruch 1, wobei die Vielzahl von Knotenpunkten durch die folgende quadratische Bézierkurvengleichung berechnet wird: X(t) = X0(1 – t)2 + X12t(1 – t) + X2t2, Y(t) = Y1(1 – t)2 + Y12t(1 – t) + Y2t2 wobei X0, Y0 X1, Y1, X2, und Y2 die Koordinaten von Kontrollpunkten sind, und wobei t ein Parameter innerhalb des Bereichs von [0, 1] ist.
  3. Kameraeinheit für ein Fahrzeug nach Anspruch 1, wobei die Vielzahl von Knotenpunkten durch die folgende kubische Bézierkurvengleichung berechnet wird: X(t) = X0(1 – t)3 + X13t(1 – t)2 + + X23t2(1 – t) + X3t3 Y(t) = Y0(1 – t)3 + Y13t(1 – t)2 + + Y23t2(1 – t) + Y3t3 wobei X0, Y0, X1, Y1, X2, Y2, X3, und Y3 die Koordinaten von Kontrollpunkten sind, und wobei t ein Parameter innerhalb des Bereichs von [0, 1] ist.
  4. Kameraeinheit für ein Fahrzeug nach Anspruch 3, wobei die Vielzahl von Knotenpunkten aus einem Satz von Kontrollpunkten der Bézierkurve für einen erforderlichen Lenkwinkel berechnet wird, und wobei der Satz von Kontrollpunkten in einem nichtflüchtigen Speicher des Interface-Controllers in Form einer Lookup-Tabelle gespeichert ist.
  5. Kameraeinheit für ein Fahrzeug nach Anspruch 4, wobei die Kontrollpunkte der Bézierkurve für den erforderlichen Lenkwinkel unter Verwendung einer linearen Interpolation zwischen den von der Lookup-Tabelle ausgelesenen Werten berechnet werden.
  6. Kameraeinheit für ein Fahrzeug nach Anspruch 1, wobei die Liniensegmente, die die nebeneinanderliegenden Knotenpunkte des Satzes von Knotenpunkten, der vom Interface-Controller berechnet und übertragen wird, verbinden, unter Verwendung des Bresenham-Linienalgorithmus berechnet werden.
  7. Kameraeinheit für ein Fahrzeug nach Anspruch 1, ferner umfassend einen Interface-Transceiver, der zum Empfang und zur Übertragung eines veränderlichen Lenkwinkelsignals eingerichtet ist, wobei der Interface-Transceiver außerhalb des Interface-Controllers separat angeordnet ist oder Teil des Interface-Controllers ist.
  8. Kameraeinheit für ein Fahrzeug nach Anspruch 1, ferner umfassend einen Analogsignal-Encoder, der zur Übertragung des empfangenen Bildes mit den darauf eingeblendeten Fahrkorridormarkierungen an eine externe Anzeigeeinrichtung eingerichtet ist, wobei der Analogsignal-Encoder außerhalb der Bildverarbeitungseinrichtung separat angeordnet ist oder Teil der Bilddatenverarbeitungseinrichtung ist.
  9. Verfahren zur Anzeige einer vorausberechneten Fahrzeugtrajektorie unter Verwendung einer Kameraeinheit nach einem der vorgenannten Ansprüche, umfassend die Schritte: Erfassen einer Fahrzeuglenkwinkeländerung; Auslesen oder Berechnen eines Satzes von Kontrollpunkten einer Bézierkurve gemäß der Lenkwinkeländerung und Berechnen einer Vielzahl von Knotenpunkten unter Verwendung der Bézierkurvengleichung, wobei die Vielzahl von Knotenpunkten zur Generierung einer Fahrkorridorlinie basierend auf dem ausgelesenen oder berechneten Satz von Kontrollpunkten verwendet wird; Berechnen von Liniensegmenten und Verbinden der nebeneinanderliegenden Knotenpunkte anhand der Liniensegmente; und Einblenden der Liniensegmente in ein Bild, das von einem Bildsensor empfangen wird, und Anzeigendes eingeblendeten Bilds auf einer externen Anzeigeeinrichtung; wobei sowohl die Berechnung der Vielzahl von Knotenpunkten als auch die Berechnung der Liniensegmente in einer einzigen Kameraeinheit vorgenommen werden.
  10. Verfahren nach Anspruch 9, wobei die Vielzahl von Knotenpunkten durch die folgende Bézierkurvengleichung berechnet wird: X(t) = X0(1 – t)2 + X12t(1 – t) + X2t2, Y(t) = Y0(1 – t)2 + Y12t(1 – t) + Y2t2 wobei X0, Y0, X1, Y1, X2, und Y2 die Koordinaten von Kontrollpunkten sind, und wobei t ein Parameter innerhalb des Bereichs von [0, 1] ist.
  11. Verfahren nach Anspruch 9, wobei die Vielzahl von Knotenpunkten durch die folgende kubische Bézierkurvengleichung berechnet wird: X(t) = X0(1 – t)3 + X13t(1 – t)2 + + X23t2(1 – t) + X3t3, Y(t) = Y0(1 – t)3 + Y13t(1 – t)2 + + Y23t2(1 – t) + Y3t3 wobei X0, Y0, X1, Y1, X2, Y2, X3, und Y3 die Koordinaten von Kontrollpunkten sind, und wobei t ein Parameter innerhalb des Bereichs von [0, 1] ist.
  12. Verfahren nach Anspruch 9, wobei der Satz von Kontrollpunkten der Bézierkurve für einen erforderlichen Lenkwinkel in einem nichtflüchtigen Speicher des In terface-Controllers in Form einer Lookup-Tabelle gespeichert ist, und wobei in dem Fall, wenn die Lookup-Tabelle die Daten für den erforderlichen Lenkwinkel nicht enthält, die Kontrollpunkte der Bézierkurve unter Verwendung einer linearen Interpolation zwischen den in der Lookup-Tabelle gespeicherten Werten berechnet werden.
  13. Verfahren nach Anspruch 9, wobei die Berechnung des Knotenpunkts in einem Interface-Controller unter Verwendung einer Bézierkurvengleichung vorgenommen wird, und die Berechung der Liniensegmente in einer Bildverarbeitungseinrichtung unter Verwendung des Bresenham-Linienalgorithmus vorgenommen wird.
  14. System zur Generierung von Fahrkorridormarkierungen, die durch Einblendung in ein Bild der Fahrzeugperipherie angezeigt werden, wobei die Fahrkorridormarkierungen dynamisch veränderlich sind und in das Bild eingeblendet werden, das durch einen Bildsensor in einer Kameraeinheit gemäß einer Lenkwinkeländerung empfangen wird, wobei die dynamische Änderung der Markierungen durch Berechnen der Koordinaten einer Vielzahl von Knotenpunkten mittels eines Interface-Controllers, der zur Verbindung der Kameraeinheit mit anderen Fahrzeugeinrichtungen und zum Empfang eines Lenkwinkel-Deskriptors dient, gemäß der folgenden entweder quadratischen oder kubischen Bezierkurvengleichung und durch Berechnen der die Vielzahl von Knotenpunkten verbindenden Liniensegmente generiert wird: X(t) = X0(1 – t)2 + X12t(1 – t) + X2t2, oder Y(t) = Y0(1 – t)2 + Y12t(1 – t) + Y2t2 X(t) = X0(1 – t)3 + X13t(1 – t)2 + + X23t2(1 – t) + X3t3, Y(t) = Y0(1 – t)3 + Y13t(1 – t)2 + + Y23t2(1 – t) + Y3t3 wobei X0, Y0, X1, Y1, X2, Y2, X3, und Y3 die Koordinaten der Kontrollpunkte sind, und wobei t ein Parameter innerhalb des Bereichs von [0, 1] ist, und eine Bildverarbeitungseinrichtung Fahrkorridormarkierungen auf Basis der Koordinaten der Kontrollpunkte in das vom Bildsensor übertragene Bild einblendet, und wobei sowohl der Interface-Controller als auch die Bildverarbeitungseinrichtung in einer einzigen Kameraeinheit umfasst sind.
  15. System zur Generierung von Fahrkorridormarkierungen nach Anspruch 14, wobei die Vielzahl von Knotenpunkten aus einem Satz von Kontrollpunkten der Bézierkurve gemäß einer Lenkwinkeländerung berechnet wird.
  16. System zur Generierung von Fahrkorridormarkierungen nach Anspruch 15, wobei die Vielzahl von Knotenpunkten durch einen außerhalb der Bildverarbeitungseinrichtung angeordneten Interface-Controller berechnet wird.
  17. System zur Erzeugung von Fahrkorridormarkierungen nach Anspruch 15, wobei das Verbinden der Vielzahl von Knotenpunkten anhand der Liniensegmente durch die Bildverarbeitungseinrichtung vorgenommen wird.
DE102008062121A 2008-10-02 2008-12-16 Kameraeinheit mit Fahrkorridor-Anzeigefunktion für ein Fahrzeug, Verfahren zur Anzeige einer vorausberechneten Fahrzeugtrajektorie und System zur Generierung von Fahrkorridormarkierungen Expired - Fee Related DE102008062121B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2008-0096904 2008-10-02
KR1020080096904A KR100939761B1 (ko) 2008-10-02 2008-10-02 차량 장착용 카메라 유닛, 차량 외부 디스플레이 방법 및 드라이빙 코리더 마커 생성 시스템

Publications (2)

Publication Number Publication Date
DE102008062121A1 DE102008062121A1 (de) 2010-04-15
DE102008062121B4 true DE102008062121B4 (de) 2010-10-07

Family

ID=41810439

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008062121A Expired - Fee Related DE102008062121B4 (de) 2008-10-02 2008-12-16 Kameraeinheit mit Fahrkorridor-Anzeigefunktion für ein Fahrzeug, Verfahren zur Anzeige einer vorausberechneten Fahrzeugtrajektorie und System zur Generierung von Fahrkorridormarkierungen

Country Status (4)

Country Link
US (1) US8063752B2 (de)
JP (1) JP4903194B2 (de)
KR (1) KR100939761B1 (de)
DE (1) DE102008062121B4 (de)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011014497A1 (en) * 2009-07-27 2011-02-03 Magna Electronics Inc. Vehicular camera with on-board microcontroller
WO2012103193A1 (en) 2011-01-26 2012-08-02 Magna Electronics Inc. Rear vision system with trailer angle detection
DE102011014368A1 (de) * 2011-03-17 2012-09-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem
CN103459225B (zh) * 2011-04-08 2016-01-27 丰田自动车株式会社 驾驶支援***
JP6058256B2 (ja) * 2011-06-13 2017-01-11 アルパイン株式会社 車載カメラ姿勢検出装置および方法
KR20130037274A (ko) * 2011-10-06 2013-04-16 엘지이노텍 주식회사 멀티뷰 카메라를 이용한 주차 보조 장치 및 방법
JP5888087B2 (ja) 2012-04-25 2016-03-16 ソニー株式会社 走行支援画像生成装置、走行支援画像生成方法、車載用カメラおよび機器操縦支援画像生成装置
DE102012018325A1 (de) 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
US9558409B2 (en) 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
US9446713B2 (en) 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
CN103150178A (zh) * 2013-02-05 2013-06-12 联发科技(新加坡)私人有限公司 一种开机显示控制方法及处理器芯片
US10755110B2 (en) 2013-06-28 2020-08-25 Magna Electronics Inc. Trailering assist system for vehicle
US10160382B2 (en) 2014-02-04 2018-12-25 Magna Electronics Inc. Trailer backup assist system
EP3020868B1 (de) * 2014-11-14 2020-11-04 Caterpillar Inc. Maschine mit einem Maschinenkörper und einem hinsichtlich des Körpers beweglichen Werkzeug mit einem System zur Unterstützung eines Benutzers der Maschine
WO2016131104A1 (en) * 2015-02-18 2016-08-25 Federation Enterprises (Wa) Pty Ltd Bicycle camera and bicycle camera system
JP2018512593A (ja) 2015-04-10 2018-05-17 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングRobert Bosch Gmbh 車両の移動データを使用した車載カメラによる物***置測定
US9942475B2 (en) 2015-07-24 2018-04-10 Robert Bosch Gmbh Real cross traffic—quick looks
US10086870B2 (en) 2015-08-18 2018-10-02 Magna Electronics Inc. Trailer parking assist system for vehicle
US10683035B2 (en) 2015-12-08 2020-06-16 Panasonic Intellectual Property Management Co., Ltd. Parking assistance device, parking assistance method, and non-transitory computer readable medium
AT15827U1 (de) 2016-07-07 2018-07-15 Zkw Group Gmbh Beleuchtungssystem zur Kommunikation zwischen autonomen Fahrzeugen und anderen Verkehrsteilnehmern
GB2552487B (en) * 2016-07-25 2019-03-20 Ford Global Tech Llc Flow corridor detection and display system
DE102018131898A1 (de) 2018-12-12 2020-06-18 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen einer Trajektorie durch tangentiales Anlegen von Bézierkurven an geometrische Strukturen; Steuereinheit; Fahrerassistenzsystem; Computerprogrammprodukt sowie computerlesbares Medium
US10755571B1 (en) * 2019-03-01 2020-08-25 Amazon Technologies, Inc. Identifying parking location using single camera reverse projection
CN113085886B (zh) * 2019-12-20 2023-08-29 小米汽车科技有限公司 一种自动驾驶***中基于方向盘转角的轨迹显示方法
CN112068588A (zh) * 2020-08-12 2020-12-11 浙江大学 一种基于飞行走廊和贝塞尔曲线的无人飞行器轨迹生成方法
KR20220022340A (ko) * 2020-08-18 2022-02-25 삼성전자주식회사 컨텐츠를 시각화하는 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4244462A1 (de) * 1992-12-24 1994-06-30 Equicon Software Gmbh Jena Verfahren zur Generierung von ebenen technischen Kurven oder Konturen
DE10138719A1 (de) * 2001-08-07 2003-03-06 Siemens Ag Verfahren und Vorrichtung zur Darstellung von Fahrhinweisen, insbesondere in Auto-Navigationssystemen
DE10064036B4 (de) * 1999-12-24 2006-08-24 Kabushiki Kaisha Toyota Jidoshokki, Kariya Lenkhilfegerät

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3362569B2 (ja) * 1995-08-04 2003-01-07 三菱自動車工業株式会社 車両誘導装置
JPH10176928A (ja) 1996-12-18 1998-06-30 Hitachi Ltd 視点位置測定方法、視点位置測定装置、ヘッドアップディスプレイ装置およびミラー調整装置
JPH10188008A (ja) * 1996-12-27 1998-07-21 Sony Corp 描画装置および方法
JP3838884B2 (ja) * 2001-03-29 2006-10-25 株式会社デンソー 車両周辺表示装置、プログラムおよび記録媒体
JP4059309B2 (ja) * 2001-05-07 2008-03-12 松下電器産業株式会社 車載カメラの画像表示制御方法及びその装置
JP2003331296A (ja) * 2002-05-10 2003-11-21 Ricoh Co Ltd 円弧描画方法
JP2004015235A (ja) 2002-06-04 2004-01-15 Sumitomo Electric Ind Ltd 画像表示システム及び中継装置
JP2006272990A (ja) * 2005-03-28 2006-10-12 Clarion Co Ltd 車両後退運転補助装置
ATE479980T1 (de) 2006-08-24 2010-09-15 Valeo Vision Verfahren zur bestimmung der durchfahrt eines fahrzeugs durch eine engen durchlass
DE102006062390A1 (de) 2006-12-19 2008-06-26 Valeo Schalter Und Sensoren Gmbh Verfahren zum rückwärtigen Einparken eines Fahrzeugs und Einparkhilfesystem hierfür
KR100861543B1 (ko) * 2007-04-06 2008-10-02 주식회사 만도 장애물과의 충돌 회피를 위한 주차 보조 장치 및 방법
KR100886107B1 (ko) 2007-04-30 2009-02-27 김봉석 냉동장치의 냉매열교환용 열교환기

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4244462A1 (de) * 1992-12-24 1994-06-30 Equicon Software Gmbh Jena Verfahren zur Generierung von ebenen technischen Kurven oder Konturen
DE10064036B4 (de) * 1999-12-24 2006-08-24 Kabushiki Kaisha Toyota Jidoshokki, Kariya Lenkhilfegerät
DE10138719A1 (de) * 2001-08-07 2003-03-06 Siemens Ag Verfahren und Vorrichtung zur Darstellung von Fahrhinweisen, insbesondere in Auto-Navigationssystemen

Also Published As

Publication number Publication date
JP4903194B2 (ja) 2012-03-28
JP2010088096A (ja) 2010-04-15
US20100085170A1 (en) 2010-04-08
DE102008062121A1 (de) 2010-04-15
KR100939761B1 (ko) 2010-01-29
US8063752B2 (en) 2011-11-22

Similar Documents

Publication Publication Date Title
DE102008062121B4 (de) Kameraeinheit mit Fahrkorridor-Anzeigefunktion für ein Fahrzeug, Verfahren zur Anzeige einer vorausberechneten Fahrzeugtrajektorie und System zur Generierung von Fahrkorridormarkierungen
DE102008031784B4 (de) Verfahren und Vorrichtung zur Verzerrungskorrektur und Bildverbesserung eines Fahrzeugrückblicksystems
EP2431226B1 (de) Rückblickeinrichtung für ein Kraftfahrzeug
EP2603402B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung und fahrerassistenzsystem
DE102012025322B4 (de) Kraftfahrzeug mit Kamera-Monitor-System
DE60029335T2 (de) Überwachungskamera, verfahren zum anpassen einer kamera und fahrzeugüberwachungssystem
DE102008046398B4 (de) Vorrichtung zum Erzeugen eines zusammengesetzten Bildes und computerlesbares Medium zum Speichern eines Programmes, um zu bewirken, dass ein Computer als Vorrichtung zum Erzeugen eines zusammengesetzten Bildes wirkt
DE102009050368A1 (de) Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
DE102010042026B4 (de) Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs
DE60206320T2 (de) Vorrichtung und Verfahren zur perspektivischen Projektionbilderzeugung
DE102008030555A1 (de) Vorrichtung zur Verarbeitung von Stereobildern
EP2483107B1 (de) Verfahren und vorrichtung zur kombinierten visuellen anzeige von video- und abstandsdaten einer verkehrssituation
DE10059315A1 (de) Anordnung und Verfahren zum Überwachen des Umfeldes eines Fahrzeugs
DE112006000457T5 (de) Infrarot-Kamerasystem und -Verfahren
WO2015048967A1 (de) Verfahren und vorrichtung zur anzeige der umgebung eines fahrzeugs und fahrerassistenzsystem
DE102010015079A1 (de) Verfahren zum Anzeigen eines Bildes auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzsystem und Fahrzeug
EP3167427A1 (de) Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
DE102007043905A1 (de) Verfahren und Vorrichtung zur Kalibrierung einer an einem Objekt angeordneten omnidirektionalen Kamera
DE19539642A1 (de) Verfahren zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes insbesondere bei einem Fahrzeug, und Vorrichtung zur Visualisierung eines nicht unmittelbar einsehbaren Überwachungsraumes
DE112016000689T5 (de) Kameraparametereinstellvorrichtung
DE3133866A1 (de) Verfahren zur sichtsimulation
EP2996327B1 (de) Surround-view-system für fahrzeuge mit anbaugeräten
DE102013220022B4 (de) Fahrzeugkamera zur Erfassung von Bildern aus einem Umgebungsbereich eines Fahrzeugs und Fahrzeug
DE102015205479A1 (de) Verfahren zum Darstellen einer Fahrzeugumgebung eines Fahrzeuges
DE112015005317B4 (de) Bildumwandlungsvorrichtung und bildumwandlungsverfahren

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee